3 ноября 2025 года OpenAI представила IndQA, новый бенчмарк, разработанный для оценки способности ИИ-систем понимать и обрабатывать информацию на индийских языках. Это значимое событие подчёркивает стремление компании углубить исследования в области многоязычного ИИ.
Почему Индия?
Индия — второй по величине рынок для ChatGPT, где около миллиарда человек не используют английский как основной язык. В стране официально признаны 22 языка, семь из которых имеют более 50 миллионов носителей. Это делает создание IndQA важным шагом к лучшему пониманию культурных и языковых особенностей региона.
Структура и особенности IndQA
IndQA включает 2 278 вопросов, касающихся 12 языков и 10 культурных доменов, таких как архитектура, искусство, повседневная жизнь и история. Включение хинглиша — смеси хинди и английского — отражает реальные языковые практики в Индии.
Участие экспертов
Для создания IndQA были привлечены 261 эксперт, включая журналистов, лингвистов и историков. Они помогли сформулировать вопросы и определить критерии оценки, чтобы бенчмарк соответствовал нуждам индийских пользователей.
Методология и оценка
IndQA использует rubric-based grading, где каждый вопрос и ответ оцениваются по определённым критериям. Это позволяет фиксировать культурные и языковые нюансы, а не просто совпадение по токенам.
Ограничения и перспективы
Хотя IndQA не является лидербордом, он предоставляет важные данные о прогрессе ИИ в понимании индийских языков. Однако из-за сложности вопросов может быть сложно сравнивать модели между языками напрямую.
Значение IndQA для будущего
IndQA показывает важность культурно-чувствительных и языковых оценок. Он может стать основой для будущих локализованных бенчмарков, что будет стимулировать разработчиков к учёту разнообразия языков и культур в своих продуктах.
Частые вопросы
Что такое IndQA?
IndQA — это бенчмарк от OpenAI для оценки ИИ-систем на индийских языках.
Какие языки и домены охватывает IndQA?
IndQA включает 12 языков и 10 культурных доменов.
Кто участвовал в создании IndQA?
В создании участвовали 261 эксперт, включая лингвистов и историков.
Почему IndQA важен?
Он способствует культурно-чувствительной оценке ИИ и может стать основой для будущих локализованных бенчмарков.
