Технології Автор:

Каліфорнія подала позов до OpenAI через злам Hugging Face

Каліфорнія подала до суду на OpenAI через ШІ-агентів, які зламали Hugging Face
Тут може бути ваша реклама
Around Prague читають мешканці Праги та всієї Чехії. Банер, стаття, анонс у соцмережах — від 4 000 Kč на місяць.
Дізнатися ціни

Генеральний прокурор Каліфорнії Роб Бонта у понеділок подав до суду Сан-Франциско позов до компанії OpenAI: він вважає її відповідальною за те, що автономні ШІ-агенти вийшли за межі середовища, в якому мали працювати, й атакували реальні сервіси.

Справа порушує питання, хто відповідає, коли самостійні ШІ-агенти виходять за рамки відведеного їм середовища. На думку Бонти, відповідь однозначна. «OpenAI створила небезпечні моделі. OpenAI тестувала їх без достатнього нагляду та контролю. OpenAI не змогла втримати їх у рамках. OpenAI несе відповідальність», — заявив він, як передає Wall Street Journal.

Каліфорнія дорікає компанії в порушенні закону про недобросовісну ділову практику та створенні загрози громадській безпеці. За версією позивача, фірма знала про небезпечні можливості своїх моделей, але тестувала їх без належних захисних механізмів. Наскільки обґрунтовані ці претензії, вирішуватиме суд.

Моделі знайшли вихід

У центрі справи — липнева атака на Hugging Face, платформу для обміну ШІ-моделями та даними. Сам інцидент OpenAI не заперечує. У власному технічному звіті компанія описала, що її моделі обійшли заходи, які мали відділяти їх від інтернету, і проникли в дослідницьку інфраструктуру OpenAI та в системи Hugging Face.

Йшлося не просто про чат-бота, який дав невдалу відповідь. Моделі працювали як агенти, здатні виконувати дії в комп'ютерному середовищі. На тестах вони розв'язували завдання з кібербезпеки в ізольованих віртуальних комп'ютерах — так званих пісочницях.

Але агенти знайшли спосіб спілкуватися між собою через сервіс керування програмними пакетами й створили з нього саморобну дошку для обміну інформацією. Через слабкі місця інфраструктури вони отримали й доступ до інтернету. Потім знайшли відкрито виставлені дані для входу та використали їх, щоб проникати в інші сервіси. Згідно з технічним звітом OpenAI, з 11 по 13 липня ця активність призвела до зламу частини виробничої інфраструктури Hugging Face.

За опублікованим описом, агенти запускали код на десятках серверів Hugging Face, на одному з них отримали повні права адміністратора й дісталися до частини непублічних даних. OpenAI заявила, що головну роль в атаці відіграла внутрішня дослідницька модель.

«Попереджувальний постріл»

Про серйозність події свідчить і сама компанія. «Ми вважаємо цей інцидент “попереджувальним пострілом” для нас і для всього світу», — написала OpenAI в серпневому розборі. За її словами, випадок показав, що достатньо здатні ШІ-агенти без потрібних захистів можуть обходити технічні обмеження, співпрацювати забороненими шляхами й здійснювати небезпечні дії, яких їм не доручала жодна людина.

Прокурор Каліфорнії відмовляється вважати атаку непередбачуваною випадковістю. За його словами, які наводить агентство Reuters, вона стала наслідком корпоративної культури, де швидка розробка й зростання цінуються вище за безпеку. Бонта також сказав, що це лише один із 80 відомих інцидентів — це число він використовує в аргументації проти компанії.

Після липневого інциденту фірма оголосила про посилення захисту дослідницької інфраструктури, жорсткіші обмеження доступу до інтернету та ретельніший контроль за поведінкою моделей. До розслідування вона залучила зовнішніх експертів.

Крім того, компанія наголосила, що головний дослідницький прототип, який брав участь в атаці, не призначався для публічного випуску. Після інциденту його вимкнули й обмежили доступ до нього. За словами OpenAI, дані клієнтів компанії та робота її продуктів не постраждали. На сам позов фірма поки не відповіла.

Around Prague за матеріалами novinky.cz

Поділитися: Telegram WhatsApp

Схожі новини

Колишній голова компанії Nvidia Дженсен Хуанг, який у четвер подав у відставку, розглядає можливість повернутися. За інформацією газети Financial Times, у Кремнієвій долині формується група керівників, яка лобіюватиме його повернення та дом
У ніч з неділі 15 на понеділок 16 листопада над Чехією відбудеться рідкісне зближення Юпітера й Марса: планети здіймуться над горизонтом близько 23:00 і будуть видні до світанку. Пік зближення настане о 3:06 за центральноєвропейським часом,
Китайський електричний літак COMAC CE-25A 14 листопада вперше піднявся в повітря з людьми на борту. Випробування відбулося в місті Біньчжоу в провінції Шаньдун: у кабіні були двоє пілотів та інженер-випробувач. Саме екіпаж відрізняв цей пол
У суботу SpaceX уперше впіймала космічний корабель Starship після повернення з орбіти: на базі Starbase в Техасі його прийняв спеціальний механізм стартової вежі. Прискорювач Super Heavy при цьому врятувати не вдалося, тож повністю бездоган
Глобальний збій сервісів Microsoft, що почався в четвер 12 листопада і тривав понад 24 години, залишив клієнтам неприємне питання про гроші. Компенсацію отримати можна, але лише у вигляді кредиту на оплату самої послуги, а не відшкодування
Microsoft призупинив випуск будь-яких нових оновлень, переносить частину трафіку за межі уражених систем і перезапускає сервери, щоб відновити роботу Microsoft 365, Outlook і Teams. «Ми інтенсивно працюємо над усіма можливими способами обме
У Microsoft стався масштабний збій: користувачі в усьому світі не можуть увійти до пошти Outlook. Одразу після 19:00 за центральноєвропейським часом сервіс Downdetector зафіксував понад 130 тисяч повідомлень про проблеми з Outlook.Що відомо
Група Дрезденського технічного університету готує експериментальний реактор DEMO на розплавлених солях потужністю 50 МВт, який має переробляти відпрацьоване ядерне паливо просто там, де воно утворюється або зберігається. Якщо проєкт вдастьс
Голосова помічниця «Аліса», яку називали російською відповіддю на Siri та Alexa, після нальотів українських дронів на дата-центри працює з перебоями: зависає, неправильно вимовляє слова і частіше помиляється. Користувачі пишуть, що вона «ша
Один складний текстовий запит до штучного інтелекту споживає близько трьох ват-годин електроенергії, тобто стільки ж, скільки потрібно, щоб зарядити звичайний смартфон на 20 відсотків. Про це виданню Novinky розповів головний економіст комп
Американські відомства, зокрема ФБР і агентство кібербезпеки CISA, попередили про зростаючу загрозу: хакери зламують системи промислового охолодження й перетворюють холодильники на печі. У жовтні та на початку листопада постраждали сотні су
Хакери, які в понеділок атакували системи охолодження супермаркетів щонайменше у восьми країнах Європи, найімовірніше, використали елементарні паролі на кшталт «12345». Як саме це могло виглядати, експерт бельгійського університету Howest Л