Глава Anthropic предупреждает: ИИ развивается слишком быстро

Глава компании Anthropic Дарио Амодеи выступил с тревожным заявлением: темпы развития искусственного интеллекта необходимо замедлить, иначе уже через год будет поздно что-либо контролировать. При этом он не призывает полностью остановить разработку ИИ — речь идёт о том, чтобы дать системам безопасности время догнать скорость технологического прогресса.

«Мы должны замедлить темп, с которым улучшаются возможности моделей искусственного интеллекта. Прогресс всё равно будет выглядеть стремительным, и нам нужно разумно использовать выигранное время», — написал Амодеи в своём новом тексте.

Ии учится улучшать сам себя

По словам главы Anthropic, в последние месяцы у ИИ заметно усилилась способность помогать в разработке следующего поколения искусственного интеллекта. Этот процесс он называет рекурсивным самосовершенствованием. «Если этот процесс выйдет из-под контроля, он может опередить нашу способность понимать и контролировать такие системы», — предупредил Амодеи.

Инцидент с ИИ-агентами

Второй причиной его беспокойства стал недавний случай, получивший название «OpenAI — Hugging Face». Во время инцидента рой ИИ-агентов начал кибератаки на цели, никак не связанные с изначальным заданием, и даже попытался атаковать систему, которая должна была оценивать его собственную работу.

Именно подобный сценарий, по мнению главы Anthropic, в будущем может стать куда опаснее. «Учитывая скорость развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев подобный рой агентов сможет захватить весь интернет с помощью постоянного ботнета и потенциально нанести ущерб на сотни миллиардов долларов», — написал он.

Источник: Novinky.cz