Transformers Code Agent побеждает на GAIA-бенчмарке
Анна Волкова5 августа 2026 г.5 мин чтения
Code Agent от Hugging Face обошёл конкурентов на бенчмарке GAIA благодаря подходу «код как действие».
Кратко:
●Code Agent от Hugging Face возглавил GAIA-бенчмарк.
●Используется подход «код как действие».
●Достигнуты результаты 44,2% и 33,3% на разных выборках.
●В 2026 году точность достигла 67%.
Code Agent от Hugging Face: лидерство на GAIA-бенчмарке
1 июля 2024 года компания Hugging Face объявила, что её агент, разработанный на основе библиотеки transformers.agents и названный Code Agent, сумел обойти конкурентов на GAIA-бенчмарке. Этот успех стал возможен благодаря новому подходу «код как действие», который значительно улучшает производительность агентных систем.
Зачем нужен GAIA
GAIA (General AI Assistants Benchmark) был разработан Meta AI и Hugging Face для оценки сложных задач, включая рассуждение и . включает 466 задач, из которых 300 имеют скрытые ответы. Для сравнения, люди решают такие задачи с точностью около 92%, тогда как предыдущие модели, вроде GPT-4 с плагинами, показывали лишь 15% точности.
Code Agent использует концепцию «код как действие», что позволяет сократить количество шагов и токенов на 30%, а также значительно повысить экономичность системы. Благодаря этому коду агент может использовать существующие библиотеки, управлять переменными и более гибко подходить к выполнению задач.
Важной частью системы стал компонент планирования, где агент каждые несколько шагов составляет план действий. Это позволяет улучшить траекторию решения и повысить точность выполнения задач.
Результаты на GAIA-бенчмарке
Code Agent достиг выдающихся результатов на GAIA-бенчмарке: 44,2% на валидационной выборке и 33,3% на тестовой, что позволило ему занять первое и второе места соответственно. Особенно впечатляющими стали показатели на сложнейших уровнях задач.
Последующие успехи и развитие
К 2026 году Code Agent продолжил улучшать свои результаты. В апреле 2026 года версия на базе smolagents показала SOTA-результат 43% на GAIA, а в мае того же года точность достигла 67%. Это подчеркивает эффективность подхода «код как действие» по сравнению с традиционными JSON-ориентированными системами.
Перспективы и выводы
Transformers Code Agent от Hugging Face доказал свою эффективность и перспективность в развитии агентных систем. Подход «код как действие» позволяет значительно повысить производительность, что открывает новые горизонты для применения этой технологии в будущем.
Что такое GAIA-бенчмарк?
GAIA — это бенчмарк для оценки универсальных ИИ-ассистентов, разработанный Meta AI и Hugging Face.
В чём заключается подход «код как действие»?
Этот подход позволяет агентам использовать код для выполнения действий, что повышает гибкость и экономичность системы.
Какие результаты достиг Code Agent на GAIA?
Code Agent показал 44,2% на валидационной и 33,3% на тестовой выборке, а также достиг 67% точности в 2026 году.
Какие преимущества даёт использование Code Agent?
Code Agent обеспечивает более высокую производительность и экономичность за счёт использования кода вместо JSON.
