Nvidia научилась отключать опасных ИИ-агентов за миллисекунды

Компания Nvidia представила открытую платформу для защиты ИИ-агентов — Open Agent Safety Platform. Она должна обезопасить работу автономных программ на основе искусственного интеллекта на всех этапах: от тестирования до реального использования в бизнесе. О новинке объявили в Санта-Кларе в Калифорнии, а в разработке, по данным Nvidia, участвует более ста компаний и организаций из технологической отрасли, финансового сектора, энергетики и робототехники.

Барьер вокруг самого агента

Разработчики подчёркивают: это не очередной антивирус или фильтр, который пытается заранее угадать действия ИИ. Nvidia намерена выстроить, по собственному выражению, «барьер безопасности вокруг самого агента» — так, чтобы система сдерживала его, даже если тот начнёт действовать иначе, чем задумывали создатели.

«Огромный потенциал искусственного интеллекта для общества раскроется в полной мере только тогда, когда мы решим вопрос его безопасности», — заявил в понедельник глава Nvidia Дженсен Хуанг, слова которого приводит телеканал CNN. По его словам, безопасность ИИ требует технического решения на уровне всей системы — от программного обеспечения до аппаратной части.

OpenShell: строгий контроль доступа

Платформа состоит из двух частей. Первая называется OpenShell и работает как строгий администратор между ИИ-агентом и компьютером, интернетом или корпоративными системами компании.

Агенту можно, например, разрешить читать определённые данные, но запретить их изменять. Дать доступ к одному API, но не к другому. Позволить работать с файлами в одной папке, но закрыть путь ко всему остальному компьютеру. Каждое такое действие фиксируется и может отслеживаться.

По данным Nvidia, OpenShell работает вне самой модели ИИ и создаёт границу, которую агенту сложно обойти, даже если он попытается выйти за пределы выданных ему прав. Это принципиально отличается от подхода, при котором безопасность держится лишь на том, что ИИ сам будет послушно следовать инструкциям, — в последние месяцы стало ясно, что именно это слабое место. Если агенту дают длинную и сложную задачу, он начинает сам планировать шаги и порой пытается обойти возникшее препятствие.

Sentry: аппаратный «выключатель» за миллисекунды

Когда программных ограничений оказывается недостаточно, в дело вступает вторая часть системы — Sentry. Она работает на специализированных процессорах Nvidia BlueField-4, физически отделённых от компьютера, на котором действует сам ИИ-агент.

Задача Sentry проста: наблюдать за действиями агента и вмешиваться, если он выходит за разрешённые границы. Если, например, агент попытается получить доступ к системе, к которой ему доступ не положен, Sentry способен изолировать его. По данным Nvidia, это происходит за миллисекунды.

Источник: Novinky.cz