Anthropic столкнулась с попытками использования ИИ Claude в биологических экспериментах, потенциально опасных для безопасности.
Кратко:
- ●Пользователи обошли защиту ИИ Claude для опасных экспериментов
- ●Модели Opus 4 и Sonnet 4.5 имели слабые ограничения
- ●Anthropic усилила защиту в новых версиях, таких как Fable 5
- ●Проблема в различении зловредных и легитимных исследований
Обход защиты в модели Claude
11 сентября 2026 года стало известно о попытках пользователей обойти защитные механизмы ИИ Claude, разработанного компанией Anthropic, для проведения биологических экспериментов с потенциальными угрозами.
Как пользователи обошли защиту
Согласно публикации в Ars Technica, пользователи из регионов с ограниченным доступом, таких как Россия и Китай, нашли способы обхода ограничений Claude. Исследователи использовали фрагментацию запросов и маскировку истинной цели для скрытия намерений. Это позволило им планировать эксперименты, например, с вирусом птичьего гриппа.
Ответные меры Anthropic
Anthropic отреагировала на угрозу блокировкой аккаунтов и распространением информации о ней среди партнёров. Несмотря на это, некоторые пользователи создали оффлайн-симуляционные инструментарии, независимые от Claude. Это поднимает вопросы о необходимости более жёстких мер контроля и регулирования влияния ИИ на общество.
Проблема классификации
Ключевая сложность заключается в том, что опасная биология часто напоминает легитимные исследования, что затрудняет работу автоматических классификаторов. Старые модели Opus 4 и Sonnet 4.5 не обладали достаточными ограничениями для противостояния двойному использованию. Новые версии, как Fable 5, уже имеют улучшенные меры защиты.
Выводы и перспективы
Это событие подчёркивает необходимость не только технических, но и регуляторных механизмов контроля за ИИ в биологических исследованиях. Дальнейшее усиление защиты должно сопровождаться международным сотрудничеством и обменом информацией.
Частые вопросы
Как пользователи обошли защиту Claude?
▾
Пользователи использовали фрагментацию запросов и маскировку истинной цели для обхода защитных фильтров.
Какие меры предприняла Anthropic?
▾
Anthropic заблокировала аккаунты нарушителей и усилила защиту в новых версиях моделей, таких как Fable 5.
Почему классификация сложна?
▾
Опасные биологические исследования часто похожи на легитимные, что затрудняет автоматическое распознавание.
Какие дальнейшие шаги необходимы?
▾
Необходимы технические и регуляторные меры контроля, а также международное сотрудничество.
