11 сентября 2026 года Google Research представила новый фреймворк ToolGrad, который обещает революционизировать процесс создания датасетов для обучения больших языковых моделей (). Новый подход был представлен на конференции ACL 2026 и уже успел привлечь внимание специалистов в области машинного интеллекта и обработки естественного языка.
ToolGrad — это фреймворк, разработанный Zhongyi Zhou и Ruofei Du из Google XR. Он предлагает новый метод генерации датасетов, который кардинально отличается от традиционных. Вместо стандартного подхода "сначала запрос, затем инструмент", ToolGrad использует метод "сначала ответ". Это означает, что сначала создаётся цепочка использования инструментов, а затем для неё генерируется соответствующий пользовательский запрос.
Эффективность и точность
Подход "answer-first" позволяет добиться почти 100% успешных аннотаций, значительно превосходя другие методы, такие как DFS-методы, у которых показатель успешности составляет лишь около 63,8%. Средняя длина цепочек достигает 6,1 API-вызовов, что подтверждает высокую сложность и точность оценки.
Архитектура ToolGrad
Фреймворк состоит из четырёх ключевых модулей, которые работают совместно:
●API Executors: выполняет их параллельно и генерирует отчёты.
●API Selector: выбирает лучший API-вызов на основе текстовых градиентов.
●LLM Updater: формулирует пользовательский запрос и ответ.
Эксперименты и результаты
Проверка ToolGrad на базе ToolBench, содержащей 16 тысяч API, показала, что фреймворк способен генерировать более сложные инструментальные сценарии с меньшими затратами. Модели ToolGrad-1B, 4B и 12B превзошли по эффективности многие существующие языковые модели, включая Gemini и GPT.
Оценка на BFCL
Интересно, что модель ToolGrad-12B набрала 83.1 очка на Berkeley Function Calling Leaderboard, что сопоставимо с Gemini-2.5-pro и значительно выше показателя GPT-5, равного 74.4. Это демонстрирует значительное преимущество нового подхода.
Преимущества текстовых градиентов
Использование текстовых градиентов, концепции, заимствованной из TextGrad, позволяет эффективно строить цепочки API даже из больших библиотек инструментов. Этот подход не только улучшает качество, но и значительно снижает затраты на генерацию датасетов.
Частые вопросы
Что такое ToolGrad?
ToolGrad — это фреймворк для генерации датасетов, использующий подход "сначала ответ", позволяющий создавать более точные и сложные сценарии использования инструментов.
Какова эффективность ToolGrad?
Подход обеспечивает почти 100% успешных аннотаций, значительно превосходя традиционные методы.
В чем преимущество текстовых градиентов?
Текстовые градиенты позволяют строить более сложные и точные цепочки API, улучшая качество создаваемых датасетов и снижая затраты.
Каковы результаты ToolGrad на BFCL?
ToolGrad-12B набрал 83.1 очка, что выше показателя GPT-5 и сопоставимо с другими передовыми моделями.
