Microsoft и Hugging Face представили систему ThinkingBox, которая переводит проверку базы данных в функции вознаграждения для RL-обучения агентов.
Кратко:
- ●Microsoft и Hugging Face разработали ThinkingBox для RL-обучения.
- ●Система оценивает состояние БД и переводит это в вознаграждение.
- ●Методология улучшает стабильность и надежность выполнения задач.
- ●Почему важно: Повышает надежность агентов в сложных сценариях.
Вчера, 22 октября 2026 года, Microsoft и Hugging Face опубликовали блог-пост, в котором представили систему ThinkingBox. Эта система переводит проверку итогового состояния базы данных в функцию вознаграждения для последующего обучения агентов с подкреплением (RL).
Суть и методология
ThinkingBox превращает итоговое состояние базы данных в сигнал вознаграждения для агентов. Если результат совпадает с ожидаемым, агент получает вознаграждение. Это более надежный сигнал по сравнению с традиционными методами проверки. Обучающий пул формируется из задач средней сложности, где исходная модель успешно справляется только с частью попыток.
Результаты эксперимента
В ходе эксперимента модель Qwen3.8-27B была дообучена с помощью GRPO. Процент успешных попыток pass@1 вырос с 51,70% до 60,78%, а количество задач, выполненных успешно во всех 20 запусках, увеличилось почти в три раза. Это указывает на улучшение стабильности выполнения задач.
Примеры и выгоды
Пример из hotel-booking задачи показал, что модель после обучения всегда сохраняла корректное состояние бронирования и платежа, что до обучения удавалось не всегда. Стоимость обеспечения надежного решения снизилась на 67%.
Что это значит
Публикация Microsoft и Hugging Face демонстрирует, как автоматическая проверка состояния базы данных может стать мощным инструментом для обучения агентов. Это открывает новые возможности для более надежной работы AI в различных сценариях, таких как бронирования и финансовые операции. Использование ThinkingBox может значительно повысить эффективность и стабильность агентов в реальных проектах.
Частые вопросы
Как работает ThinkingBox?
▾
Система переводит проверку состояния базы данных в функцию вознаграждения для RL-обучения.
Какие результаты показал эксперимент?
▾
Было отмечено значительное улучшение стабильности и успешности выполнения задач.
Какие задачи решает ThinkingBox?
▾
Система нацелена на улучшение надежности агентов в сложных сценариях.
Кто участвовал в разработке?
▾
Microsoft и Hugging Face, под руководством нескольких ведущих специалистов, включая Mirco Milletari и Sergio Paniego.
