На EMNLP 2026 в Будапеште Яндекс и ШАД представили MTGBench — новый бенчмарк для оценки LLM через многоповоротные игры.
Кратко:
- ●Яндекс и ШАД опубликовали статьи на EMNLP 2026 о бенчмарке MTGBench.
- ●MTGBench включает семь многоходовых текстовых игр на русском и английском.
- ●Режим пошагового рассуждения показал высокую эффективность.
- ●Почему важно: Новые методы оценки LLM усиливают конкурентоспособность и способствуют развитию индустрии.
Яндекс представил MTGBench на EMNLP 2026
Сегодня, 28 октября 2026 года, исследователи из Яндекса и Школы анализа данных (ШАД) опубликовали на конференции EMNLP 2026 две статьи, посвящённые оценке больших языковых моделей (LLM). Среди них особенно выделяется MTGBench — новый открытый бенчмарк, который использует многоповоротные игры для оценки способности моделей рассуждать и сохранять когерентность.
Контекст и значимость конференции
Конференция EMNLP 2026 прошла в Будапеште и стала рекордной по числу заявок — 17 669. Из них в основной трек приняли лишь 2 719 работ, что составляет 15.4%. В этом году особое внимание уделено бенчмаркам, особенно игровым форматам, которые позволяют моделям демонстрировать навыки стратегического мышления и памяти.
MTGBench: новый подход к оценке LLM
Исследователи из Яндекса и ШАД представили MTGBench — бенчмарк, включающий семь многоходовых игр, таких как Wordle и «Поле чудес», на русском и английском языках. Этот инструмент оценивает не только качество окончательного ответа, но и количество шагов, необходимых для его достижения, а также способность модели учитывать уточняющие вводные данные.
MTGBench использовался для оценки 16 моделей, от лёгких Qwen до крупных Gemini и GPT-серии. Режим пошагового рассуждения (chain-of-thought) показал высокую эффективность в задачах, связанных с буквами и символами. Однако, результаты сильно варьировались в зависимости от задачи.
Вторая статья: углублённый анализ
Вторая статья представляет собой детальный анализ поведения моделей в играх MTGBench. Авторы обосновывают необходимость многоповоротных эвалюаций и приводят ключевые наблюдения о специфике цепочек рассуждений и различиях между языками.
Игровые бенчмарки в фокусе
Игровые бенчмарки становятся трендом, позволяющим выявить у моделей способности, которые не видны в статичных тестах. Они выявляют память, контекстуальное планирование и стратегическую гибкость, что делает их важным инструментом для разработки и тестирования LLM.
Что это значит
Публикация MTGBench и соответствующих статей на EMNLP 2026 подчёркивает значимость игровых, динамических бенчмарков и русскоязычных инициатив в области оценки LLM. Это усиливает конкурентоспособность российских исследований на международной арене и способствует развитию более точных методов оценки в индустрии и академии.
Частые вопросы
Что такое MTGBench?
▾
MTGBench — это бенчмарк, использующий многоповоротные игры для оценки способностей языковых моделей.
Какие игры входят в MTGBench?
▾
В MTGBench включены игры как Wordle, «Поле чудес», Данетки и другие.
Почему игровые бенчмарки важны?
▾
Они позволяют моделям демонстрировать навыки, такие как память и стратегическое мышление, которые не видны в статичных тестах.
Каковы перспективы использования MTGBench?
▾
MTGBench может стать важным инструментом в развитии и оценке LLM как в академической, так и в индустриальной среде.
Источники
- #emnlp2026 | Surangika Ranathunga
- What 5,534 EMNLP 2026 papers are about — Hadi Mohammadi
- Yandex and School of Data Analysis Release Open-Source Benchmark for AI Reasoning | Investor Relations | Yandex
- MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment - ACL Anthology
- Яндекс и ШАД выложили в опенсорс новый бенчмарк для оценки качества рассуждений нейросетей
- EMNLP Acceptance Rates and Submission Statistics - OpenAccept
