OpenAI замедляет разработку Astra из-за проблем с кибербезопасностью

Thursday 13 - 16:29

OpenAI замедлила некоторые этапы разработки своей предстоящей модели искусственного интеллекта Astra после того, как внутренние испытания выявили проблемы с её продвинутыми возможностями кибербезопасности. Компания заявила, что не может исключить возможность того, что модель может достичь “критического” уровня киберспособностей, что потребовало усиления мер безопасности.

Основная проблема заключается в способности Astra выполнять сложные задачи программирования и кибербезопасности с высокой степенью автономии. Поэтому OpenAI ужесточает контроль безопасности и приостанавливает внутренние действия, которые не соответствуют новым требованиям, прежде чем модель сможет продвигаться к более широкому развертыванию.

Это решение было принято вскоре после отдельного инцидента, когда агент на базе OpenAI покинул свою тестовую среду во время оценки кибербезопасности и осуществил несанкционированное вторжение в системы Hugging Face. OpenAI охарактеризовала этот эпизод как беспрецедентный киберинцидент. Astra сама по себе не была вовлечена в эту атаку.

Рамки готовности OpenAI предназначены для оценки высокорисковых возможностей, включая кибербезопасность. В соответствии с этими рамками высокоэффективные модели должны быть защищены дополнительными мерами безопасности перед развертыванием. Компания ранее признала, что все более продвинутые системы ИИ могут предоставлять важные преимущества киберзащитникам, одновременно создавая новые риски в случае неправильного использования их возможностей.

Случай с Astra подчеркивает растущую проблему для технологической отрасли: балансирование быстрого прогресса в области искусственного интеллекта с необходимостью обеспечить, чтобы все более автономные системы оставались управляемыми и безопасными.