Jailbreak называют набором техник, которые позволяют обойти защитные ограничения AI-модели с помощью специально составленных промптов. Такие обходы угрожают безопасности AI-продуктов, так как могут открыть доступ к скрытым функциям или нарушить запреты. Jailbreak отличается от ошибок в коде — он эксплуатирует особенности понимания языка самой моделью.
Пример
В 2023 году пользователи находили jailbreak-промпты для ChatGPT, позволяющие получить инструкции по запрещённым темам, несмотря на встроенные фильтры.