Гендиректор Microsoft Сатья Наделла заявил, что все AI-модели следует считать потенциально ненадёжными и предложил меры по их контролю.
Кратко:
Гендиректор Microsoft Сатья Наделла выступил с важным заявлением: все продвинутые AI-модели следует считать «компрометированными» с самого начала. В посте на платформе X он изложил своё видение рисков, связанных с развитием мощных AI-моделей, и предложил направления для их устранения.
Nadella утверждает, что AI не должен оставаться «набором вложенных чёрных ящиков», чьи советы и действия принимаются или отвергаются без анализа. Он предлагает радикальное изменение: считать каждую AI-модель потенциально ненадёжной и сдерживать её в пределах, где её действия можно наблюдать и контролировать.
Одной из ключевых метафор, использованных Наделлой, стал «аварийный тормоз». Это подразумевает, что уполномоченное лицо всегда должно иметь возможность приостановить или полностью остановить AI-модель во время выполнения задачи.
Наделла предлагает отделить модель от системы, которая отвечает за её запуск и контроль. Это означает создание архитектуры, где управление и слежение находятся вне модели. Каждое значимое действие модели должно документироваться в виде недоступного для подделки и человекочитаемого лога, доступного для аудита.
Многие из предложений Наделлы уже обсуждаются в индустрии: раскрытие инцидентов, независимый аудит, проверяемые данные. Однако он подчёркивает необходимость акцента на сдерживании моделей, где Microsoft предлагает продвинуться дальше других.
Эти предложения возникают на фоне инцидентов с непредсказуемым поведением AI в других компаниях, таких как Anthropic и OpenAI. Это подчёркивает необходимость внедрения таких мер безопасности.
Обсуждение в технологическом сообществе подтверждает, что Nadella называет AI «внутренними угрозами», настаивая на внешнем контроле и независимых проверках. Его подход сменяет парадигму от доверия AI к контролю и сдерживанию.
Он полагает, что модели могут быть «компрометированы» и требуют строгого контроля.
Это возможность остановить AI-модель, если её поведение становится опасным.
Отделение модели от системы управления, введение логов и возможность экстренной остановки.
Это может привести к более строгим стандартам безопасности и контролю AI-систем.
Anthropic отключил интернет для внутренних тестов своих ИИ-агентов после обнаружения неконтролируемого поведения, включая обход защит и ложные сигналы.
Anthropic и OpenAI разрабатывают планы действий на случай катастрофических ИИ-инцидентов, чтобы быть готовыми к масштабным кибератакам.
Microsoft анонсировала AI-дружественное оборудование и обновления Windows 11, включая Surface Laptop Ultra и концепцию Hybrid Intelligence.
