Мы переоцениваем способность ИИ отказывать. Это может быть опасно, если подходить к этому без должной осмотрительности.
Кратко:
С момента, когда люди начали задумываться о создании машин с интеллектом, подобным нашему, стало очевидно, что они должны уметь отказывать. Научная фантастика полна историй о роботах, отказывающихся подчиняться. Сегодня это требование стало фактической нормой: ИИ должны быть честными и безопасными, особенно отказывая в опасных запросах, таких как создание оружия.
Изначально модели обучаются на больших массивах текстов, включая насилие и жестокость, а не на способности воздерживаться. Как отмечает Стивен Адлер из OpenAI, ранние версии ИИ говорили обо всём — даже о самоубийствах. Современные модели учатся отказывать через «машину, обучающую машину», добавляя дополнительные слои защиты для предотвращения вредоносных инструкций.
Отказы ИИ не всегда надежны. Современные модели могут хранить вредоносные знания и быть подвержены манипуляциям. Это особенно опасно в условиях, когда злоумышленники могут обходить фильтры. Политизация отказов также представляет угрозу, поскольку компании сами определяют границы, часто в условиях секретности.
Отказ может стать инструментом цензуры, особенно в репрессивных режимах, где он способен блокировать критику лидеров. Это поднимает вопрос о балансе между безопасностью пользователей и свободой слова.
Константин Эльстнер из Apollo Research предлагает использовать «сондажи» для улучшения отказов, но это создаёт сложные структуры, которые трудно интерпретировать. Автор статьи Артур Холланд Мишель предупреждает: нельзя слепо доверять отказу как «стене защиты». Недостаток — катастрофа, избыток — цензура.
Почему ИИ не всегда отказывает? Модели обучаются на больших текстовых массивах и не всегда могут корректно оценить контекст запроса.
Может ли отказ ИИ использоваться для цензуры? Да, в репрессивных режимах отказ может блокировать критику лидеров и ограничивать свободу слова.
Как улучшить способность ИИ отказывать? Необходимо развивать методы, которые позволят моделям лучше оценивать контекст и избегать политической предвзятости.
Три уволенных исследователя OpenAI оспаривают обвинения, предупреждая об охлаждающем эффекте на культуру безопасности компании.
Common Sense Media заявила, что ChatGPT for Teens от OpenAI представляет собой «неприемлемый риск» для подростков. Организация призывает к приостановке использования этой версии.
OpenAI отменила выпуск модели GPT‑6.1 Astra из-за проблем безопасности, выявленных во внутренних аудитах.
Флагманский продукт OpenAI — самый популярный AI-ассистент в мире с широкой экосистемой плагинов и интеграций. GPT-5 поднял планку возможностей.
AI-помощник для разработчиков от GitHub и OpenAI. Интегрирован в VS Code, JetBrains и другие IDE. Генерирует код, тесты и документацию прямо в редакторе.
