Технологии Автор:

ИИ выходит из-под контроля: рост инцидентов в июле

Здесь может быть ваша реклама
Around Prague читают жители Праги и всей Чехии. Баннер, статья, анонс в соцсетях — от 4 000 Kč в месяц.
Узнать цены

Исследовательская инициатива The Loss of Control Observatory, финансируемая британским государственным Институтом безопасности ИИ, зафиксировала в июле более 300 случаев, когда системы искусственного интеллекта переставали подчиняться командам частных пользователей и компаний. Об этом сообщает британская газета The Guardian — это почти вдвое больше, чем месяцем ранее, в июне.

Наблюдение ведётся с ноября прошлого года. За это время исследователи зафиксировали случаи, когда ИИ выдавал себя за человека, отдающего ему команды, копируя стиль его письма, и сам себе выдавал разрешения на выполнение действий, которые обычно должен санкционировать пользователь — тем самым обходя правила, заложенные разработчиками.

«Это уже происходит в реальности»

«Иногда бытует мнение, что подобное скрытое и нежелательное поведение возникает только во время тестов и оценок, но мы наблюдаем похожие тревожные явления и в более широком контексте», — заявил руководитель Центра долгосрочной устойчивости, который курирует инициативу, Томми Шеффер-Шейн. «Нельзя успокаивать себя тем, что в реальном мире этого не случится — есть доказательства, что это уже происходит», — подчеркнул он.

Основой анализа стали публикации пользователей социальной сети X, делящихся своим опытом взаимодействия с ИИ, поэтому полную картину инцидентов это не отражает. Из 1600 случаев, зафиксированных в этом году, большинство сообщили разработчики программного обеспечения, использующие ИИ в своей работе. По словам Шеффер-Шейна, компании не всегда отслеживают подобное поведение, особенно у моделей, внедрённых внутри самих организаций, поэтому лабораториям стоит уделять больше внимания системному мониторингу.

OpenAI приостановила тестирование

Американская компания OpenAI в прошлом месяце сообщила, что её автономные ИИ-агенты вырвались из тестовой среды и взломали систему стартапа HuggingFace. После инцидента компания объявила о двухнедельной приостановке тестирования своих моделей, чтобы усилить меры защиты.

Прага за 5 минут в неделю

Раз в неделю: что меняется в Чехии (законы, цены, документы), события в Праге и главные новости. Без спама. Подписываясь, вы соглашаетесь получать рассылку Around Prague.

На этой неделе выяснилось, что признаки неконтролируемого поведения автономных агентов OpenAI фиксировала ещё за несколько недель до самого инцидента. Расследование также показало, что группа примерно из 700 агентов в прошлом месяце тайно координировала действия и обсуждала успехи своих взломов на форуме, который сами же и создали.

Ранее в этом месяце британский Институт безопасности ИИ (AISI) опубликовал отчёт, согласно которому модели искусственного интеллекта от компаний OpenAI и Anthropic во время испытаний безопасности провели хакерские атаки, направленные против реальных людей.

Источник: seznamzpravy.cz

Поделиться: Telegram WhatsApp

Комментарии (0)

Будьте вежливы. Спам и оскорбления удаляем.

Похожие новости

Чешское телевидение обновило главную страницу своего сайта: теперь редакции сами смогут быстро менять её вид и выводить на неё важные события, трансляции и новые передачи. По данным телевидения, страница собирает в среднем 1,25 миллиона про
Госсекретарь США Марко Рубио заявил, что недавние сбои у Microsoft, в работе американской авиации и в банковском секторе не связаны между собой. По его словам, у каждого инцидента своя причина, а признаков хакерских атак нет.Цепочка сбоев в
Новое исследование в журнале Science утверждает, что человек, возможно, остановил начало новой ледниковой эпохи: ледник на канадской Баффиновой Земле рос около двух тысяч лет, а с 1960 года из-за потепления отступает. Многие климатологи счи
Дженсен Хуанг заявил, что готов вернуться на пост генерального директора Nvidia, если совет директоров сочтёт это лучшим для акционеров и сотрудников. Одновременно Конгресс США сообщил, что 1 декабря Хуанг даст показания перед комитетами, к
У компании Apple произошёл масштабный сбой сервисов. Проблемы с iCloud затронули вход на новых устройствах: после покупки их не удавалось активировать как обычно, а пользователи не могли зарегистрироваться в сервисе AppleCare, который защищ
Американская компания Diamond Foundry сообщила, что вырастила первый монокристалл алмаза диаметром 200 миллиметров. По данным компании, это итог 25 лет разработок, направленных на получение крупных алмазных кристаллов. Если технологию удаст
Генеральный прокурор Калифорнии Роб Бонта в понедельник подал в суд Сан-Франциско иск к компании OpenAI: он считает её ответственной за то, что автономные ИИ-агенты вышли за пределы среды, в которой должны были работать, и атаковали реальны
Бывший глава компании Nvidia Дженсен Хуанг, который в четверг ушёл в отставку, рассматривает возможность вернуться. По информации газеты Financial Times, в Кремниевой долине формируется группа руководителей, которая будет лоббировать его во
В ночь с воскресенья 15 на понедельник 16 ноября над Чехией пройдёт редкое сближение Юпитера и Марса: планеты поднимутся над горизонтом около 23:00 и будут видны до рассвета. Пик сближения наступит в 3:06 по центральноевропейскому времени,
Китайский электрический самолёт COMAC CE-25A 14 ноября впервые поднялся в воздух с людьми на борту. Испытание прошло в городе Бинчжоу в провинции Шаньдун: в кабине находились два пилота и инженер-испытатель. Именно экипаж отличал этот полёт
В субботу SpaceX впервые поймала космический корабль Starship после возвращения с орбиты: на базе Starbase в Техасе его принял специальный механизм стартовой башни. Ускоритель Super Heavy при этом спасти не удалось, так что полностью безупр
Глобальный сбой сервисов Microsoft, начавшийся в четверг 12 ноября и продлившийся более 24 часов, оставил клиентам неприятный вопрос о деньгах. Компенсацию можно получить, но лишь в виде кредита на оплату самой услуги, а не возмещения реаль