Эмерджентное поведение — это неожиданные и сложные способности, которые проявляются у больших языковых моделей, хотя их не было у меньших версий. Примеры включают логическое рассуждение, работу с аналогиями или элементы саморефлексии. Такие особенности трудно предсказать заранее, и они появляются только при определённом масштабе модели. Эмерджентное поведение не гарантировано даже для крупных моделей одного класса.
Пример
У GPT-3 впервые заметили эмерджентное поведение: модель начала самостоятельно строить сложные цепочки рассуждений, чего не наблюдалось в GPT-2.