Исследование OpenAI показывает, что AI-модели могут улучшать выявление ошибок в текстах благодаря критическим замечаниям, особенно с увеличением масштаба моделей.
Кратко:
- ●Модели OpenAI обучены писать критические замечания.
- ●Критика помогает людям находить ошибки в текстах.
- ●Большие модели эффективнее в самокритике.
- ●Технология обещает улучшить надзор за AI.
AI-критика и её влияние на выявление ошибок
13 июня 2022 года OpenAI опубликовала исследование, в котором было показано, как модели, обученные формулировать критические замечания, помогают людям выявлять ошибки в текстах. Эти модели оценивают суммарии коротких рассказов, статей из Википедии и других текстов, предоставляя критические замечания, которые помогают оценщикам находить ошибки на 50% чаще, чем без их помощи.
Эксперименты и результаты
Человеческие оценщики, использующие до восьми критических замечаний, обнаруживают на 50 % больше ошибок в суммариях. Особенно это касается специально подстроенных суммариев, где модель помогала находить намеренные ошибки в 45 % случаев против 27 % без такой помощи.
