OpenAI представляет GDPval: оценка ИИ на реальных задачах
Анна Волкова7 сентября 2026 г.5 мин чтения
OpenAI запустила GDPval для измерения производительности ИИ на экономически значимых задачах. Benchmark охватывает 44 профессии в 9 отраслях.
Кратко:
●OpenAI представила GDPval в сентябре 2025
●Оценка охватывает 44 профессии в 9 отраслях
●Включает 1 320 задания, 220 из которых — open-source
●Модели уже близки по качеству к профессионалам
Новый стандарт оценки от OpenAI
В сентябре 2025 года OpenAI представила GDPval, экспериментальную систему оценки моделей ИИ, ориентированную на выполнение реальных профессиональных задач. Этот подход призван измерять эффективность моделей на экономически значимых задачах из повседневной практики 44 профессий, охватывающих 9 отраслей, вносящих более 5% в ВВП США.
Что такое GDPval?
GDPval (Gross Domestic Product valuation) — это уникальная система, позволяющая оценивать, насколько эффективно ИИ-модели решают практические задачи в реальных экономических условиях. Первая версия включает 1 320 задания, из которых 220 открыты для всех как часть "золотого" набора. Задания разработаны экспертами с опытом более 14 лет и охватывают такие продукты, как юридические заключения и инженерные чертежи.
Охват и масштаб
Задания охватывают 44 профессии в 9 ключевых отраслях, включая юридическую, инженерную, медицинскую и другие сферы. К примеру, задачи включают работу юристов, инженеров, медсестёр и разработчиков ПО. Эти профессии выбраны на основе их вклада в экономику США.
Процесс оценки
Оценка моделей проводится экспертами, которые сравнивают результаты моделей с результатами профессионалов, классифицируя их как "лучше", "не хуже" или "хуже". Также доступна автоматизированная система-"градер", хотя она пока не заменяет человеческую оценку.
Результаты и перспективы
На ранних тестах Claude Opus 4.1 показал лучшие результаты по эстетике, а GPT-5 — по точности. Производительность моделей улучшилась более чем в 2–3 раза с момента появления GPT-4o. Модели выполняют задачи быстрее и дешевле, чем эксперты, если не учитывать интеграцию и контроль.
Ограничения и будущее
Версия GDPval v0 не учитывает итерации и доработки, характерные для профессиональной работы. В будущем OpenAI планирует расширить охват и внедрить интерактивность и контекстно-богатые сценарии.
Значение для ИИ-сообщества
GDPval предлагает более реалистичный подход к оценке моделей, чем традиционные академические тесты, такие как MMLU. Это позволяет более точно оценивать достижения моделей в задачах с прямой экономической стоимостью, что особенно важно для компаний вроде Samsung и SK в проекте Stargate OpenAI и Wrtn: AI для жизни с GPT-5 в Корее.
Частые вопросы
Что такое GDPval?
Это система оценки, измеряющая, насколько эффективно ИИ-модели справляются с реальными экономически значимыми задачами.
Сколько профессий охватывает GDPval?
Система охватывает 44 профессии в 9 отраслях.
Как проводится оценка?
Эксперты сравнивают результаты моделей с результатами профессионалов.
Какие планы на будущее у OpenAI для GDPval?
Планируется расширение охвата отраслей и внедрение интерактивности.
