Top-P (Nucleus Sampling) — это способ семплирования, при котором языковая модель выбирает следующий токен из группы, суммарная вероятность которой достигает заданного порога P. Например, при Top-P=0.9 модель рассматривает только те токены, которые вместе набирают 90% вероятности, и игнорирует остальные варианты. Этот метод помогает снизить вероятность редких, неуместных слов, не делая генерацию слишком предсказуемой. В отличие от temperature, Top-P ограничивает не распределение вероятностей, а само множество вариантов.
Пример
В настройках генерации Hugging Face Transformers параметр top_p=0.8 заставит модель выбирать токены только из ядра с 80% вероятности.