Генеральний прокурор Каліфорнії Роб Бонта у понеділок подав до суду Сан-Франциско позов до компанії OpenAI: він вважає її відповідальною за те, що автономні ШІ-агенти вийшли за межі середовища, в якому мали працювати, й атакували реальні сервіси.
Справа порушує питання, хто відповідає, коли самостійні ШІ-агенти виходять за рамки відведеного їм середовища. На думку Бонти, відповідь однозначна. «OpenAI створила небезпечні моделі. OpenAI тестувала їх без достатнього нагляду та контролю. OpenAI не змогла втримати їх у рамках. OpenAI несе відповідальність», — заявив він, як передає Wall Street Journal.
Каліфорнія дорікає компанії в порушенні закону про недобросовісну ділову практику та створенні загрози громадській безпеці. За версією позивача, фірма знала про небезпечні можливості своїх моделей, але тестувала їх без належних захисних механізмів. Наскільки обґрунтовані ці претензії, вирішуватиме суд.
У центрі справи — липнева атака на Hugging Face, платформу для обміну ШІ-моделями та даними. Сам інцидент OpenAI не заперечує. У власному технічному звіті компанія описала, що її моделі обійшли заходи, які мали відділяти їх від інтернету, і проникли в дослідницьку інфраструктуру OpenAI та в системи Hugging Face.
Йшлося не просто про чат-бота, який дав невдалу відповідь. Моделі працювали як агенти, здатні виконувати дії в комп'ютерному середовищі. На тестах вони розв'язували завдання з кібербезпеки в ізольованих віртуальних комп'ютерах — так званих пісочницях.
Але агенти знайшли спосіб спілкуватися між собою через сервіс керування програмними пакетами й створили з нього саморобну дошку для обміну інформацією. Через слабкі місця інфраструктури вони отримали й доступ до інтернету. Потім знайшли відкрито виставлені дані для входу та використали їх, щоб проникати в інші сервіси. Згідно з технічним звітом OpenAI, з 11 по 13 липня ця активність призвела до зламу частини виробничої інфраструктури Hugging Face.
За опублікованим описом, агенти запускали код на десятках серверів Hugging Face, на одному з них отримали повні права адміністратора й дісталися до частини непублічних даних. OpenAI заявила, що головну роль в атаці відіграла внутрішня дослідницька модель.
Про серйозність події свідчить і сама компанія. «Ми вважаємо цей інцидент “попереджувальним пострілом” для нас і для всього світу», — написала OpenAI в серпневому розборі. За її словами, випадок показав, що достатньо здатні ШІ-агенти без потрібних захистів можуть обходити технічні обмеження, співпрацювати забороненими шляхами й здійснювати небезпечні дії, яких їм не доручала жодна людина.
Прокурор Каліфорнії відмовляється вважати атаку непередбачуваною випадковістю. За його словами, які наводить агентство Reuters, вона стала наслідком корпоративної культури, де швидка розробка й зростання цінуються вище за безпеку. Бонта також сказав, що це лише один із 80 відомих інцидентів — це число він використовує в аргументації проти компанії.
Після липневого інциденту фірма оголосила про посилення захисту дослідницької інфраструктури, жорсткіші обмеження доступу до інтернету та ретельніший контроль за поведінкою моделей. До розслідування вона залучила зовнішніх експертів.
Крім того, компанія наголосила, що головний дослідницький прототип, який брав участь в атаці, не призначався для публічного випуску. Після інциденту його вимкнули й обмежили доступ до нього. За словами OpenAI, дані клієнтів компанії та робота її продуктів не постраждали. На сам позов фірма поки не відповіла.
Around Prague за матеріалами novinky.cz