Токен
Просто
Кусочек текста — слово или его часть, — которым ИИ считает и читает.
Бизнес
Единица обработки текста; в токенах измеряются стоимость и скорость любого ИИ-запроса.
Техно
Субсловная единица BPE/SentencePiece-словаря; ~4 символа латиницы, ~1–2 символа кириллицы; тарификация API — за входные и выходные токены.