Transformers Code Agent побеждает на GAIA-бенчмарке
Анна Волкова5 августа 2026 г.5 мин чтения
Code Agent от Hugging Face обошёл конкурентов на бенчмарке GAIA благодаря подходу «код как действие».
Кратко:
●Code Agent от Hugging Face возглавил GAIA-бенчмарк.
●Используется подход «код как действие».
●Достигнуты результаты 44,2% и 33,3% на разных выборках.
●В 2026 году точность достигла 67%.
Code Agent от Hugging Face: лидерство на GAIA-бенчмарке
1 июля 2024 года компания Hugging Face объявила, что её агент, разработанный на основе библиотеки transformers.agents и названный Code Agent, сумел обойти конкурентов на GAIA-бенчмарке. Этот успех стал возможен благодаря новому подходу «код как действие», который значительно улучшает производительность агентных систем.
Зачем нужен GAIA
GAIA (General AI Assistants Benchmark) был разработан Meta AI и Hugging Face для оценки сложных задач, включая рассуждение и мультимодальность. Бенчмарк включает 466 задач, из которых 300 имеют скрытые ответы. Для сравнения, люди решают такие задачи с точностью около 92%, тогда как предыдущие модели, вроде GPT-4 с плагинами, показывали лишь 15% точности.
Преимущества подхода «код как действие»
Code Agent использует концепцию «код как действие», что позволяет сократить количество шагов и токенов на 30%, а также значительно повысить экономичность системы. Благодаря этому коду агент может использовать существующие библиотеки, управлять переменными и более гибко подходить к выполнению задач.
Важной частью системы стал компонент планирования, где агент каждые несколько шагов составляет план действий. Это позволяет улучшить траекторию решения и повысить точность выполнения задач.
Результаты на GAIA-бенчмарке
Code Agent достиг выдающихся результатов на GAIA-бенчмарке: 44,2% на валидационной выборке и 33,3% на тестовой, что позволило ему занять первое и второе места соответственно. Особенно впечатляющими стали показатели на сложнейших уровнях задач.
Последующие успехи и развитие
К 2026 году Code Agent продолжил улучшать свои результаты. В апреле 2026 года версия на базе smolagents показала SOTA-результат 43% на GAIA, а в мае того же года точность достигла 67%. Это подчеркивает эффективность подхода «код как действие» по сравнению с традиционными JSON-ориентированными системами.
Перспективы и выводы
Transformers Code Agent от Hugging Face доказал свою эффективность и перспективность в развитии агентных систем. Подход «код как действие» позволяет значительно повысить производительность, что открывает новые горизонты для применения этой технологии в будущем.
