Сколько реально стоит токен: разбор тарифов

В тарифах написано «столько-то за миллион токенов», и кажется, что счёт посчитать легко. На практике сумма зависит от того, что именно вы отправляете и как часто.

Разберём статьи расхода по порядку — от входных токенов до ретраев, которые никто не планирует.

01. Из чего складывается счёт

• входные и выходные токены считаются отдельно;

• история диалога отправляется заново каждый раз;

• системный промпт и документы тоже входят в счёт;

• длинный контекст идёт по повышенной цене.

02. Вход дороже, чем кажется

• история переписки пересчитывается на каждом шаге;

• большие вложения в запросе удваивают стоимость;

• кэш снижает цену повторяющихся частей;

• порядок блоков в промпте влияет на попадание в кэш.

03. Выходные токены

• генерация длинного текста стоит дороже ввода;

• просьба «покороче» экономит заметно;

• структурированный ответ короче свободного;

• черновики лучше собирать короткими шагами.

04. Скрытые статьи

• ретраи при ошибках и таймаутах;

• фоновые пересчёты и повторные проверки;

• тесты и отладка на реальных данных;

• рост объёма после запуска в работу.

05. Тарифы: на что смотреть

• цена за миллион токенов в обе стороны;

• скидка за кэш и условия её получения;

• лимиты и стоимость превышения;

• минимальный платёж и округление.

06. Как посчитать свой бюджет

• взять неделю реальных запросов из логов;

• посчитать средний размер входа и выхода;

• умножить на плановый объём обращений;

• добавить запас на ретраи и рост.

07. Где ассистент не работает

• не отменяет плату за неверные ответы;

• не гарантирует, что дешёвая модель справится;

• не заменяет контроль расходов и лимитов.

08. Что остаётся человеку

• решение, сколько стоит задача;

• выбор между ценой и качеством;

• контроль счёта и лимитов;

• ответственность за бюджет.