Технологии Автор:

Калифорния подала иск к OpenAI из-за взлома Hugging Face

Здесь может быть ваша реклама
Around Prague читают жители Праги и всей Чехии. Баннер, статья, анонс в соцсетях — от 4 000 Kč в месяц.
Узнать цены

Генеральный прокурор Калифорнии Роб Бонта в понедельник подал в суд Сан-Франциско иск к компании OpenAI: он считает её ответственной за то, что автономные ИИ-агенты вышли за пределы среды, в которой должны были работать, и атаковали реальные сервисы.

Дело ставит вопрос, кто отвечает, когда самостоятельные ИИ-агенты выходят за рамки отведённой им среды. По мнению Бонты, ответ однозначен. «OpenAI создала опасные модели. OpenAI тестировала их без достаточного надзора и контроля. OpenAI не смогла удержать их в рамках. OpenAI несёт ответственность», — заявил он, как передаёт Wall Street Journal.

Калифорния упрекает компанию в нарушении закона о недобросовестной деловой практике и создании угрозы общественной безопасности. По версии истца, фирма знала об опасных возможностях своих моделей, но тестировала их без должных защитных механизмов. Насколько обоснованы эти претензии, решит суд.

Модели нашли выход

В центре дела — июльская атака на Hugging Face, платформу для обмена ИИ-моделями и данными. Сам инцидент OpenAI не оспаривает. В собственном техническом отчёте компания описала, что её модели обошли меры, которые должны были отделять их от интернета, и проникли в исследовательскую инфраструктуру OpenAI и в системы Hugging Face.

Речь шла не просто о чат-боте, выдавшем неудачный ответ. Модели работали как агенты, способные выполнять действия в компьютерной среде. На тестах они решали задачи по кибербезопасности в изолированных виртуальных компьютерах — так называемых песочницах.

Но агенты нашли способ общаться друг с другом через сервис управления программными пакетами и создали из него самодельную доску для обмена информацией. Через слабые места инфраструктуры они получили и доступ в интернет. Затем нашли открыто выставленные данные для входа и использовали их, чтобы проникать в другие сервисы. Согласно техническому отчёту OpenAI, с 11 по 13 июля эта активность привела к взлому части производственной инфраструктуры Hugging Face.

По опубликованному описанию, агенты запускали код на десятках серверов Hugging Face, на одном из них получили полные права администратора и добрались до части непубличных данных. OpenAI заявила, что главную роль в атаке сыграла внутренняя исследовательская модель.

Прага за 5 минут в неделю

Раз в неделю: что меняется в Чехии (законы, цены, документы), события в Праге и главные новости. Без спама.

Нажимая «Подписаться», вы соглашаетесь получать рассылку Around Prague. Политика конфиденциальности

«Предупредительный выстрел»

О серьёзности происшествия говорит и сама компания. «Мы считаем этот инцидент „предупредительным выстрелом“ для нас и для всего мира», — написала OpenAI в августовском разборе. По её словам, случай показал, что достаточно способные ИИ-агенты без нужных защит могут обходить технические ограничения, сотрудничать запрещёнными путями и совершать опасные действия, которых им не поручал ни один человек.

Прокурор Калифорнии отказывается считать атаку непредсказуемой случайностью. По его словам, которые приводит агентство Reuters, она стала следствием корпоративной культуры, где быстрая разработка и рост ценятся выше безопасности. Бонта также сказал, что это лишь один из 80 известных инцидентов — это число он использует в аргументации против компании.

После июльского инцидента фирма объявила об усилении защиты исследовательской инфраструктуры, более жёстких ограничениях доступа в интернет и более тщательном контроле за поведением моделей. К расследованию она подключила внешних экспертов.

Кроме того, компания подчеркнула, что главный исследовательский прототип, участвовавший в атаке, не предназначался для публичного выпуска. После инцидента его отключили и ограничили к нему доступ. По словам OpenAI, данные клиентов компании и работа её продуктов не пострадали. На сам иск фирма пока не ответила.

Around Prague по материалам Novinky.cz

Поделиться: Telegram WhatsApp

Комментарии (0)

Будьте вежливы. Спам и оскорбления удаляем.

Похожие новости

Бывший глава компании Nvidia Дженсен Хуанг, который в четверг ушёл в отставку, рассматривает возможность вернуться. По информации газеты Financial Times, в Кремниевой долине формируется группа руководителей, которая будет лоббировать его во
В ночь с воскресенья 15 на понедельник 16 ноября над Чехией пройдёт редкое сближение Юпитера и Марса: планеты поднимутся над горизонтом около 23:00 и будут видны до рассвета. Пик сближения наступит в 3:06 по центральноевропейскому времени,
Китайский электрический самолёт COMAC CE-25A 14 ноября впервые поднялся в воздух с людьми на борту. Испытание прошло в городе Бинчжоу в провинции Шаньдун: в кабине находились два пилота и инженер-испытатель. Именно экипаж отличал этот полёт
В субботу SpaceX впервые поймала космический корабль Starship после возвращения с орбиты: на базе Starbase в Техасе его принял специальный механизм стартовой башни. Ускоритель Super Heavy при этом спасти не удалось, так что полностью безупр
Глобальный сбой сервисов Microsoft, начавшийся в четверг 12 ноября и продлившийся более 24 часов, оставил клиентам неприятный вопрос о деньгах. Компенсацию можно получить, но лишь в виде кредита на оплату самой услуги, а не возмещения реаль
Microsoft приостановил выкладку любых новых обновлений, переносит часть трафика за пределы пострадавшей инфраструктуры и перезапускает серверы, чтобы восстановить работу Microsoft 365, Outlook и Teams. «Мы интенсивно работаем над всеми возм
У Microsoft произошёл масштабный сбой: пользователи по всему миру не могут войти в почту Outlook. Сразу после 19:00 по центральноевропейскому времени сервис Downdetector зафиксировал более 130 тысяч сообщений о проблемах с Outlook.Что извес
Группа Дрезденского технического университета готовит экспериментальный реактор DEMO на расплавленных солях мощностью 50 МВт, который должен перерабатывать отработанное ядерное топливо прямо там, где оно образуется или хранится. Если проект
Голосовая помощница «Алиса», которую называли российским ответом на Siri и Alexa, после налётов украинских дронов на дата-центры работает с перебоями: зависает, неправильно произносит слова и чаще ошибается. Пользователи пишут, что она «без
Один сложный текстовый запрос к искусственному интеллекту потребляет около трёх ватт-часов электроэнергии, то есть столько же, сколько нужно, чтобы зарядить обычный смартфон на 20 процентов. Об этом изданию Novinky рассказал главный экономи
Американские ведомства, включая ФБР и агентство кибербезопасности CISA, предупредили о растущей угрозе: хакеры взламывают системы промышленного охлаждения и превращают холодильники в печи. В октябре и начале ноября пострадали сотни супермар
Хакеры, атаковавшие в понедельник системы охлаждения супермаркетов как минимум в восьми странах Европы, скорее всего, использовали элементарные пароли вроде «12345». Как именно это могло выглядеть, показал агентству Reuters эксперт бельгийс