искусственный интеллектмашинное обучениеNVIDIAAI4Bharatиндианские языки
NVIDIA и AI4Bharat расширяют обучение на индийских языках
Дмитрий Орлов17 октября 2026 г.5 мин чтения
NVIDIA и AI4Bharat представили корпус для LLM на индийских языках объёмом 2,8 трлн токенов и открытый генерационный pipeline.
Кратко:
●Выпущен корпус на 22 индийских языках
●Объём данных — 2,8 трлн токенов
●Открыт GPU-ускоренный pipeline генерации данных
●Значительное улучшение моделей LLM
NVIDIA и AI4Bharat создают корпус на 2,8 трлн токенов
Сегодня NVIDIA и AI4Bharat (IIT Madras) анонсировали Nemotron-pretraining-Indic-v1 — крупнейший корпус для обучения нейросетей на индийских языках объёмом около 2,8 триллиона токенов. Важной частью проекта стал открытый GPU-ускоренный pipeline для генерации данных, который может быть адаптирован под разнообразные источники.
Языковое разнообразие
Корпус охватывает 22 официальных индийских языка, что соответствует языкам, упомянутым в Конституции Индии. Эти языки, по данным переписи 2011 года, являются родными для около 1,2 миллиарда человек. Токены включают как национальные письменности, так и романизированные формы. Всего в корпусе 2,825 триллиона токенов.
Методология и источники
Тексты для корпуса были собраны из 15 субмножителей Nemotron-CC-v2, включающих веб-тексты, задачи-вопросы, математические примеры и код. Обработка данных включала перевод, автоматическую проверку качества и исправление ошибок. Все этапы выполнены с учётом трассировки исходников.
Открытая генерация данных
Важной особенностью проекта стал открытый pipeline, который позволяет сообществу использовать готовые рецепты генерации данных. Это решение помогает разработчикам адаптировать pipeline к собственным нуждам и повышает масштабируемость подхода.
Влияние на модели
На новом корпусе был проведён этап "continued pretraining" для модели Nemotron 3.5 Super VL. Это позволило улучшить показатели по пяти бенчмаркам, включая MILU и GSM8K, с приростом 4,98–9,82 процентных пункта. Однако в задаче instruction following наблюдается небольшое снижение.
Контекст и значение
Mitesh Khapra, руководитель AI4Bharat, подчеркивает, что основной проблемой остаётся дефицит данных для индийских языков. Этот проект помогает решить данную проблему, предоставляя как корпус, так и инструментарий для генерации данных.
Частые вопросы
Какие языки включены в корпус?
Корпус охватывает 22 официальных индийских языка, соответствующих Конституции Индии.
Что представляет собой открытый pipeline?
Это GPU-ускоренная система для генерации данных, которую можно адаптировать под различные источники и задачи.
Как это улучшает модели LLM?
Модель Nemotron 3.5 Super VL улучшила показатели по нескольким бенчмаркам, что свидетельствует о повышении качества обучения.
Каковы перспективы использования?
Проект предоставляет возможности для расширения экосистемы моделей для языков с низкими ресурсами.
