Что это
Практическое определение
Токены — это единицы текста, которыми модель измеряет вход и выход: от них зависят лимиты контекста, скорость ответа и стоимость обработки.
Пример в eCommerce
Если в ответ подмешивать слишком много описаний товаров, история диалога становится дороже и медленнее, поэтому каталожный контекст нужно собирать аккуратно.
Бизнес-эффект
Влияет на стоимость сессии, latency и масштабируемость сценария при росте трафика.