API языковых моделей: фиксированная плата или оплата за токены — когда выгоден безлимит

Почему расходы на токены растут быстрее, чем вы ожидаете

Чат-модели не сохраняют состояние между запросами: каждый запрос содержит весь диалог. Если история чата выросла до 50 000 токенов, все эти 50 000 токенов отправляются снова со следующим сообщением и с каждым последующим. Основная часть расходов обычно приходится на входные токены, а не на ответы.

Три примера с расчётами

Здесь подсчитаны только токены. Чтобы узнать стоимость, умножьте их количество в миллионах на цену провайдера за миллион токенов.

При объёмах от десятков до сотен миллионов токенов в месяц даже низкие цены быстро складываются в ощутимую сумму, которую вы узнаёте только в конце месяца. Скидки за кеширование промптов помогают, если провайдер их предлагает, но условия различаются, а кешированные токены обычно всё равно оплачиваются.

Что меняется с фиксированной платой

• Предсказуемые расходывы платите одну и ту же сумму, отправляете ли вы десять сообщений или десять тысяч.
• Не нужно ограничивать себявам больше не приходится сокращать контекст или отказываться от повторной генерации ради экономии — именно такие ограничения обычно ухудшают результат.
• Ограничено число одновременных запросов, а не общий объёмтариф определяет, сколько запросов может выполняться одновременно. В этих пределах пользоваться сервисом можно без ограничений.

Когда оплата за токены выгоднее

Скажем прямо: если вы отправляете несколько коротких запросов в неделю, оплата по факту использования будет дешевле. Если для пакетной обработки вам нужны десятки параллельных запросов, провайдеры с оплатой за токены дают больше возможностей для масштабирования. Фиксированная плата выгоднее при регулярной интерактивной работе с длинным контекстом: в ролевых играх, при написании текстов, работе с агентами для программирования и проведении исследований.

Как устроены тарифы Unquant

Все тарифы включают неограниченное количество токенов и сообщений; они различаются моделью, размером контекстного окна и числом параллельных потоков запросов. Посмотреть все тарифы.