Интеграция Yandex и Сбер

Как токенизируют YandexGPT и Sber GigaChat?¶

Интеграция с ИИ

В Битрикс24 для взаимодействия с моделями искусственного интеллекта YandexGPT, Sber GigaChat и DeepSeek используется специальное приложение GPT24 для Битрикс24, которое выполняет полную интеграцию с Битрикс24 и всеми структурами данных Битрикс24.

Чтобы оптимально использовать модели искусственного интеллекта в Битрик24, изучите данный справочный материал.

1. YandexGPT (YandexLLM)¶

Метод: SentencePiece (на основе BPE или Unigram)
- Оптимизирован для русского языка, учитывает морфологию.
- Хорошо работает с редкими словами и опечатками.
- Пример:
- "нейросеть" → "нейро" + "сеть" (2 токена).

2. Sber GigaChat¶

Метод: SentencePiece (аналогично YandexGPT)
- Поддерживает многоязычность, но с упором на русский.
- Эффективно разбивает сложные термины (например, "криптовалюта" → "крипто" + "валюта").

Сравнение токенизаторов¶

Метод	Пример ("Привет, мир!")	Плюсы	Минусы	Где используется
BPE	`["При", "вет", ",", "мир", "!"]`	Эффективен для частых слов	Плохо для редких	GPT, DeepSeek
WordPiece	`["Привет", ",", "мир", "!"]`	Лучше для редких слов	Сложнее обучение	BERT
SentencePiece	`["Привет", ",", "мир", "!"]`	Работает с raw-текстом	Зависит от модели	YandexGPT, GigaChat

Какое максимальное количество токенов используют модели¶

GigaChat¶

Максимальное количество токенов, которое можно передать в GigaChat вместе с ответом, составляет 8192 токена. Это ограничение включает в себя суммарную длину входящего контекста (текста пользователя), самого запроса и текста генерируемого ответа. Если превышается лимит токенов, то последующие запросы будут отклоняться с соответствующей ошибкой.

YandexGPT¶

Максимальное количество токенов, которое можно передать в YandexGPT с учетом ответа, зависит от конкретной версии модели от 8К до 32K

DeepSeek¶

Максимальное количество токенов, которое можно передать в DeepSeek с учетом ответа, составляет 64K-128K

Да, в каждом запросе к языковым моделям (включая DeepSeek, YandexGPT и GigaChat) учитываются входящие (промпт/вопрос) и исходящие (ответ) токены. Это влияет на:
- Лимиты контекста (максимальное суммарное количество токенов).
- Тарификацию (в платных API стоимость зависит от общего числа токенов).

Как считаются токены в запросе?¶

1. DeepSeek (BPE-токенизация)¶

Входящие токены: Ваш промт (Промт — это ваш вопрос/задание).
Исходящие токены: Ответ модели.

Пример:

Запрос: "Напиши краткое описание ИИ" (7 токенов)  
Ответ: "Искусственный интеллект — это..." (15 токенов)  
Всего в запросе: 7 (input) + 15 (output) = 22 токена.

2. YandexGPT (SentencePiece)¶

Учитывает все токены диалога (история сообщений + новый запрос + ответ).

Пример:

Промт: "Объясни, как работает GPT" (6 токенов)  
Ответ: "GPT анализирует текст с помощью..." (20 токенов)  
Всего: 6 + 20 = 26 токенов.

3. Sber GigaChat (SentencePiece)¶

Аналогично YandexGPT: вопрос + ответ ИИ.
Важно: В многораундовых диалогах лимит считается по всей переписке.

Сравнение в таблице¶

Модель	Токенизатор	Учитывает вопрос + ответ	Лимит контекста*	Пример расчёта
DeepSeek	BPE	✅ Да	128K	`7 (вход) + 15 (выход) = 22`
YandexGPT	SentencePiece	✅ Да	8K–32K	`6 + 20 = 26`
GigaChat	SentencePiece	✅ Да	4K–8K	`5 + 18 = 23`

*Лимиты могут меняться в зависимости от версии модели.