Коллапс модели называют процесс, при котором качество AI-системы снижается из-за обучения или дообучения на данных, сгенерированных другой моделью. Эта деградация возникает, если синтетические данные используются без контроля качества и отбора. Коллапс особенно опасен при массовом создании и повторном использовании синтетических текстов, так как ошибки искажений накапливаются.
Пример
Исследователи заметили коллапс модели при дообучении LLM на текстах, которые сгенерировали предыдущие версии той же модели без фильтрации.