Nvidia представила новый уровень безопасности для защиты агентов ИИ

17:17

Nvidia представила платформу безопасности с открытым исходным кодом, разработанную для предоставления разработчикам и компаниям большего контроля над автономными агентами искусственного интеллекта, поскольку эти системы становятся все более способными выполнять задачи в программном обеспечении, сетях и корпоративных средах.

Инициатива, известная как NVIDIA OpenShell, предназначена для установки средств управления безопасностью вокруг агента ИИ, а не полагаться исключительно на меры предосторожности, встроенные в саму модель. Компания описывает OpenShell как безопасное время выполнения, которое позволяет автономным агентам работать в изолированных средах с явными политиками, определяющими, что они могут получать доступ и выполнять.

Разработка происходит на фоне того, что агенты ИИ выходят за рамки генерации текста и ответов на вопросы. Современные агенты могут читать файлы, использовать внешние инструменты, выполнять код, взаимодействовать с приложениями и получать доступ к бизнес-системам, создавая новые проблемы безопасности, когда им предоставляются постоянные разрешения или доступ к конфиденциальным ресурсам.

OpenShell решает эти риски с помощью песочницы и основанных на политике средств управления, охватывающих несколько частей операционной среды агента. По словам Nvidia, система может ограничивать доступ к файлам, сетевым соединениям и процессам, сохраняя при этом журнал разрешенных и заблокированных действий.

Одним из центральных принципов платформы является удержание критически важных средств управления безопасностью вне самого агента ИИ. Это означает, что даже если агент ведет себя неожиданно или его внутренние меры предосторожности обходятся, ограничения, наложенные окружающей средой выполнения, могут продолжать ограничивать его возможности.

Платформа также может регулировать сетевую активность и предотвращать доступ агентов к несанкционированным назначениям. Средства управления файловой системой предназначены для ограничения доступа к заявленным местоположениям, в то время как защиты на уровне процессов могут блокировать попытки получить дополнительные привилегии или выполнять потенциально опасные операции.

Nvidia утверждает, что этот подход особенно актуален для долгосрочных автономных систем. В отличие от обычных чат-ботов, агенты могут работать в течение длительных периодов, использовать несколько инструментов и взаимодействовать с внешними службами, увеличивая потенциальные последствия компрометации или неправильной конфигурации системы.

OpenShell является частью более широких усилий Nvidia по созданию инфраструктуры для автономного ИИ. Компания также разработала NemoClaw, который сочетает в себе инструменты развертывания агентов с песочницей и политиками OpenShell. Недавние обновления расширили управление жизненным циклом, сетевую политику, защиту учетных данных и возможности мониторинга.

Появление специализированной инфраструктуры безопасности агентов отражает более широкий сдвиг в индустрии ИИ. Поскольку компании экспериментируют с системами, способными выполнять многоступенчатые задачи с ограниченным человеческим контролем, управление разрешениями, учетными данными и доступом к корпоративным данным становится важной частью стратегий развертывания.

Для бизнеса задача заключается в том, чтобы позволить агентам ИИ достаточно доступа для выполнения полезной работы, не предоставляя им неограниченного контроля над конфиденциальными системами. Подход Nvidia стремится достичь этого баланса, отделяя возможности агента от границ безопасности, наложенных средой, в которой он работает.

Растущее внимание к безопасности агентов также подчеркивает, как риски, связанные с искусственным интеллектом, меняются. Поскольку системы ИИ получают возможность принимать действия, а не просто предоставлять информацию, защита окружающей инфраструктуры может стать столь же важной, как и оценка самой модели. OpenShell представляет собой одну из попыток добавить этот дополнительный уровень защиты в архитектуру, используемую для развертывания автономных агентов.