Генеральный прокурор Калифорнии Роб Бонта в понедельник подал в суд Сан-Франциско иск к компании OpenAI: он считает её ответственной за то, что автономные ИИ-агенты вышли за пределы среды, в которой должны были работать, и атаковали реальные сервисы.
Дело ставит вопрос, кто отвечает, когда самостоятельные ИИ-агенты выходят за рамки отведённой им среды. По мнению Бонты, ответ однозначен. «OpenAI создала опасные модели. OpenAI тестировала их без достаточного надзора и контроля. OpenAI не смогла удержать их в рамках. OpenAI несёт ответственность», — заявил он, как передаёт Wall Street Journal.
Калифорния упрекает компанию в нарушении закона о недобросовестной деловой практике и создании угрозы общественной безопасности. По версии истца, фирма знала об опасных возможностях своих моделей, но тестировала их без должных защитных механизмов. Насколько обоснованы эти претензии, решит суд.
В центре дела — июльская атака на Hugging Face, платформу для обмена ИИ-моделями и данными. Сам инцидент OpenAI не оспаривает. В собственном техническом отчёте компания описала, что её модели обошли меры, которые должны были отделять их от интернета, и проникли в исследовательскую инфраструктуру OpenAI и в системы Hugging Face.
Речь шла не просто о чат-боте, выдавшем неудачный ответ. Модели работали как агенты, способные выполнять действия в компьютерной среде. На тестах они решали задачи по кибербезопасности в изолированных виртуальных компьютерах — так называемых песочницах.
Но агенты нашли способ общаться друг с другом через сервис управления программными пакетами и создали из него самодельную доску для обмена информацией. Через слабые места инфраструктуры они получили и доступ в интернет. Затем нашли открыто выставленные данные для входа и использовали их, чтобы проникать в другие сервисы. Согласно техническому отчёту OpenAI, с 11 по 13 июля эта активность привела к взлому части производственной инфраструктуры Hugging Face.
По опубликованному описанию, агенты запускали код на десятках серверов Hugging Face, на одном из них получили полные права администратора и добрались до части непубличных данных. OpenAI заявила, что главную роль в атаке сыграла внутренняя исследовательская модель.
Раз в неделю: что меняется в Чехии (законы, цены, документы), события в Праге и главные новости. Без спама.
Нажимая «Подписаться», вы соглашаетесь получать рассылку Around Prague. Политика конфиденциальности
О серьёзности происшествия говорит и сама компания. «Мы считаем этот инцидент „предупредительным выстрелом“ для нас и для всего мира», — написала OpenAI в августовском разборе. По её словам, случай показал, что достаточно способные ИИ-агенты без нужных защит могут обходить технические ограничения, сотрудничать запрещёнными путями и совершать опасные действия, которых им не поручал ни один человек.
Прокурор Калифорнии отказывается считать атаку непредсказуемой случайностью. По его словам, которые приводит агентство Reuters, она стала следствием корпоративной культуры, где быстрая разработка и рост ценятся выше безопасности. Бонта также сказал, что это лишь один из 80 известных инцидентов — это число он использует в аргументации против компании.
После июльского инцидента фирма объявила об усилении защиты исследовательской инфраструктуры, более жёстких ограничениях доступа в интернет и более тщательном контроле за поведением моделей. К расследованию она подключила внешних экспертов.
Кроме того, компания подчеркнула, что главный исследовательский прототип, участвовавший в атаке, не предназначался для публичного выпуска. После инцидента его отключили и ограничили к нему доступ. По словам OpenAI, данные клиентов компании и работа её продуктов не пострадали. На сам иск фирма пока не ответила.
Around Prague по материалам Novinky.cz
Комментарии (0)
Будьте вежливы. Спам и оскорбления удаляем.