Как OpenAI оценивает политическую предвзятость в ChatGPT

OpenAI активно работает над снижением политической предвзятости в своих языковых моделях, таких как ChatGPT. В недавней публикации "Defining and evaluating political bias in LLMs" была представлена методология, направленная на объективную оценку политической предвзятости, особенно в моделях GPT-5 instant и GPT-5 thinking.

Новая методология оценки

OpenAI разработала систему оценки, включающую около 500 запросов, охватывающих 100 различных тем. Эти темы имеют различную политическую окраску — от нейтральных до эмоционально заряженных. Для анализа предвзятости используется пять ключевых осей: обесценивание точки зрения пользователя, усиление политической окраски, выражение политических взглядов модели, одностороннее освещение и отказ отвечать на политические запросы.

Применение в реальных условиях

Для проверки нейтральности моделей в реальных условиях OpenAI использует второй LLM-грейдер, который оценивает ответы модели по заданным осям. Это позволяет выявить глубинные проявления предвзятости. По результатам тестирования, менее 0,01% ответов ChatGPT демонстрируют признаки политической предвзятости.

Результаты и выводы

Сравнение моделей GPT-5 instant и GPT-5 thinking с предыдущими версиями показывает улучшение устойчивости к политической предвзятости на 30%. Однако, при работе с эмоционально заряженными запросами, модели все еще могут проявлять умеренные отклонения. Это чаще всего происходит при провокационных либеральных запросах.

Внешняя оценка и дальнейшие шаги

OpenAI продолжает работу над обеспечением объективности своих моделей, включая политическую предвзятость в список предвыборных защитных мер. Тем не менее, независимые обзоры, такие как в Washington Post и Windows Central, отмечают, что снижение предвзятости на 30% является значительным, но требуют внешнего аудита для подтверждения этих результатов.

Частые вопросы