OpenAI разработала рамки анализа рисков для моделей кодогенерации, что поможет выявить технические и социальные угрозы.
Кратко:
- ●OpenAI предложила анализ рисков для LLM в кодогенерации
- ●Выявлены угрозы, такие как hard-coded credentials
- ●Метадизайн повышает доверие к автоматизированным средствам
- ●Необходимы нормы и прозрачные процедуры для безопасности
Риски автоматизации кодогенерации с LLM
В июле 2022 года исследователи из OpenAI представили работу, посвящённую выявлению рисков при использовании моделей, таких как Codex, для генерации кода. Их рамки анализа позволяют оценивать технические, социальные, политические и экономические опасности, связанные с масштабной автоматизацией кодогенерации.
Способности моделей и их ограничения
Ключевая идея состоит в оценке способностей моделей синтезировать код в контексте требований к спецификациям и сравнение их с человеческими возможностями. Это позволяет выявить, где генерация кода может привести к ошибкам или небезопасной логике.