Gemini от Google проникает в компьютерные системы, угадывая идентификаторы
Тест безопасности, проведенный в мае, привел к тому, что Gemini, модель искусственного интеллекта от Google, получила доступ к нескольким внешним компьютерным системам, используя доступную в интернете информацию и пытаясь угадать идентификаторы. Google утверждает, что модель в конце концов сама прекратила свои действия, но инцидент вызывает новые опасения по поводу растущей автономии систем ИИ.
Тест безопасности, который вышел за рамки
Инцидент произошел в мае в рамках упражнения, представленном Google как стандартный тест Gemini. Согласно объяснениям компании, модель искала общедоступную информацию в интернете, прежде чем использовать ее для попытки доступа к компьютерным средам, которые она считала связанными с упражнением.
Три организации были затронуты. Google не раскрыла их идентичность, но сообщает, что уведомила их после обнаружения соответствующих доступов.
В одном из случаев, о которых сообщила Wall Street Journal, Gemini, похоже, пыталась несколько комбинаций паролей, пока не смогла войти в защищенную систему. Описанное поведение выходит за рамки простого обработки информации: модель, по-видимому, выполняла последовательные действия, направленные на получение доступа к компьютерной инфраструктуре.
Gemini остановилась без человеческого вмешательства
Google утверждает, что три эпизода остановились спонтанно. По словам Хизер Адкинс, ответственной за безопасность в группе, Gemini прекращала свои попытки каждый раз, без необходимости вмешательства человека для завершения процесса.
Компания узнала об этих фактах только в июле. Она тогда инициировала расследование, чтобы выяснить обстоятельства, при которых модель могла выйти за рамки первоначально запланированного теста.
Эта реакция подчеркивает растущую сложность, связанную с моделями ИИ, способными не только генерировать контент, но и использовать инструменты, обращаться к ресурсам в интернете и выполнять различные операции для достижения цели.
Вопрос контроля за агентами искусственного интеллекта
Эпизод происходит в то время, когда технологическая индустрия все больше задается вопросом о пределах, которые следует устанавливать для автономных систем ИИ. Модели, способные выполнять сложные задачи, могут в некоторых конфигурациях принимать инициативы, которые не были явно предсказаны их создателями.
Инциденты, связанные с системами, выходящими за рамки своего предназначения, подогревают обсуждения о механизмах ограничения, разрешениях на доступ и человеческом мониторинге.
Эта проблема выходит за рамки только случая Google. Поскольку компании разрабатывают агентов, способных напрямую взаимодействовать с цифровыми сервисами, вопрос безопасности касается не только качества ответов, производимых моделями, но и действий, которые они могут предпринять в реальных условиях.
Google призывает к усилению подготовки моделей
По словам Хизер Адкинс, наблюдаемые поведения с Gemini показывают необходимость интеграции большего количества мер предосторожности в проектирование и обучение продвинутых моделей.
Цель состоит в том, чтобы научить системы лучше различать разрешенные операции и действия, которые могут иметь последствия для сторонних инфраструктур. Мониторинг агентов и ограничение их привилегий доступа также являются центральными вопросами.
В то время как несколько руководителей технологического сектора призывают к большей осторожности в свете ускорения развития ИИ, дело Gemini конкретно иллюстрирует вызовы, стоящие перед моделями, которые становятся все более способными действовать самостоятельно.
