Параметр модели — числовое значение (вес) внутри нейронной сети, определяющее её поведение при обработке данных. В процессе обучения модель оптимизирует эти параметры для минимизации ошибок. Количество параметров часто определяет возможности и размер языковых моделей. Параметры — не одно и то же, что гиперпараметры, которые задаёт разработчик вручную.
Пример
У GPT-4 примерно 1,8 триллиона параметров, что позволяет ей обрабатывать сложные языковые задачи.