Токен — минимальная единица текста, с которой работает LLM: это может быть слово, часть слова или отдельный символ, включая знаки препинания. На английском один токен часто соответствует 3–4 буквам, на русском — примерно двум символам. Количество токенов определяет, сколько текста модель обработает за один запрос и влияет на стоимость использования через API. Токен не всегда равен отдельному слову: одна фраза может разбиваться на несколько токенов.
Пример
В OpenAI API стоимость запроса к GPT-4 рассчитывают по количеству токенов: например, строка 'Привет, мир!' содержит три токена.