NeurIPS 2025 анонсировал конкурс E2LM, фокусирующийся на ранней оценке языковых моделей. Участники предлагают методы, доступные на бесплатных GPU.
Кратко:
- ●Конкурс E2LM анонсирован 9 июня 2025 года
- ●Участники оценивают модели с 0.5, 1 и 3 млрд параметров
- ●Победители используют MCQA наборы и фильтрацию шума
- ●Конкурс проходит в рамках NeurIPS 2025
9 июня 2025 года был анонсирован конкурс E2LM (Early Training Evaluation of Language Models), организованный в рамках конференции NeurIPS 2025. Цель конкурса — разработка методов оценки языковых моделей на ранних этапах обучения.
Почему это важно
Традиционные бенчмарки не всегда дают точные результаты на начальных стадиях обучения, особенно для моделей с меньшим числом параметров. Это создает проблему, которую и пытается решить конкурс E2LM.
Условия участия
Организаторы предоставили три предварительно обученные модели с 0.5, 1 и 3 миллиардами параметров. Также доступны контрольные точки на этапах обучения до 200 миллиардов токенов. Это позволяет исследователям с ограниченными ресурсами участвовать в конкурсе, используя бесплатные облачные GPU‑платформы.
