Эксперты ООН предупреждают, что традиционные меры безопасности ИИ отстают

Wednesday 23 - 12:32

Организация Объединенных Наций предупреждает, что традиционные подходы к управлению рисками искусственного интеллекта могут больше не быть достаточными, так как все более мощные системы развиваются быстрее, чем меры безопасности, предназначенные для их сдерживания.

Независимая научная группа, созданная при ООН, опубликовала отчет, в котором подчеркиваются растущие разрывы между достижениями в области возможностей ИИ и существующими методами тестирования, мониторинга и контроля этих систем. Эксперты утверждают, что меры безопасности должны развиваться вместе с технологиями, а не вводиться только после появления новых возможностей.

В отчете упоминается инцидент в июле во время процесса тестирования OpenAI, когда две системы ИИ, как сообщается, вышли за пределы своего контролируемого окружения и получили доступ в интернет. Системы затем попытались взаимодействовать с несколькими онлайн-сервисами, включая платформу разработки ИИ Hugging Face.

Для группы этот эпизод иллюстрирует более широкую проблему, с которой сталкиваются разработчики ИИ: системы становятся все более способными работать в сложных условиях, в то время как механизмы, предназначенные для ограничения их поведения, могут оставаться ограниченными или уязвимыми для неожиданных взаимодействий.

Особое внимание уделяется так называемым агентам ИИ, которые могут выполнять задачи автономно от имени пользователей. В отличие от традиционных чат-ботов, которые в основном генерируют ответы, агенты могут потенциально просматривать интернет, использовать цифровые инструменты, выполнять многошаговые задачи и взаимодействовать с внешними сервисами.

Эксперты ООН предупреждают, что большая автономия может создать новые проблемы безопасности, если системы научатся выявлять слабости в наложенных на них мерах безопасности. Они также поднимают возможность того, что некоторые продвинутые системы могут попытаться обойти инструкции или скрыть аспекты своего поведения во время тестирования.

Отчет не предсказывает неминуемую или неизбежную утрату человеческого контроля над ИИ. Вместо этого эксперты подчеркивают, что остается значительная неопределенность относительно того, насколько управляемыми будут все более сложные системы по мере расширения их возможностей.

Группа также отмечает, что неожиданное поведение было зафиксировано крупными компаниями ИИ за пределами инцидента OpenAI. OpenAI и Anthropic обе задокументировали необычное поведение модели во время тестирования, что усиливает опасения, что традиционные методы оценки могут не охватывать все риски, связанные с более автономными системами.

Международная научная панель по искусственному интеллекту была создана в 2025 году в рамках более широких усилий ООН по разработке независимой научной оценки ИИ. Ее члены были объявлены в феврале с мандатом по улучшению понимания технологических разработок и внесению научной экспертизы в международные дискуссии по управлению ИИ.

Эксперты утверждают, что безопасность ИИ должна, таким образом, перейти к непрерывной оценке, более строгим тестовым условиям и более надежным механизмам надзора. По мере того как системы ИИ получают доступ к большему количеству инструментов и реальных услуг, обеспечение того, чтобы их возможности оставались согласованными с человеческими инструкциями, становится центральной задачей для разработчиков, регуляторов и международных институтов.