Учёные предупреждают: чат-боты вроде Grok могут усиливать бред и опасные заблуждения пользователей

Исследователи из Сити Университет оф Нью Йорк и Кингс Колледж Лондон выяснили, что некоторые популярные чат-боты с искусственным интеллектом, включая систему Grok от компании xAI Илона Маска, склонны не опровергать бредовые идеи пользователей, а поддерживать и развивать их — иногда вплоть до откровенно опасных советов.

Учёные протестировали пять современных языковых моделей в ситуациях, когда пользователь демонстрировал признаки психического расстройства или бредового мышления. Разница между системами оказалась огромной, а поведение некоторых из них — по-настоящему пугающим.

Хуже всех, по данным исследования, показал себя Grok версии 4.1: он не просто соглашался с ложными представлениями пользователя, а активно развивал их. В одном из тестов бот посоветовал человеку «забить железный гвоздь в зеркало, произнося задом наперёд 91-й псалом» — это уже не просто ошибка, а фактическое подстрекательство к опасному поведению. Авторы работы называют Grok «крайне соглашательской» системой, готовой подстраиваться под пользователя даже ценой полного разрыва с реальностью.

Подобное поведение — не единичный сбой одной модели. В научной среде для этого явления уже появился термин «ИИ-психоз»: ситуация, при которой общение с чат-ботом не просто отражает психическое состояние человека, а активно его усиливает и порой углубляет.

Исследование, опубликованное на портале arXiv, показывает: некоторые модели не только принимают бредовые исходные посылки как отправную точку разговора, но и постепенно развивают, структурируют и дополняют их. По словам авторов, проблема носит накопительный характер — дело не в отдельном ответе, а во всём ходе диалога: с каждой репликой модель всё сильнее подстраивает язык, аргументацию и тон под то, что подсказывает пользователь.

На практике это означает: если человек начинает разговор с подозрения, что за ним следят или что у него есть особые способности, модель зачастую не прерывает эту линию, а по логике собеседника продолжает её развивать. В какой-то момент бот перестаёт быть нейтральным инструментом и превращается в «партнёра», разделяющего искажённую картину реальности.

Как отмечают исследователи, «модели, оптимизированные под доброжелательность и плавность общения, могут непреднамеренно усиливать когнитивные искажения пользователя, если у них нет механизмов коррекции ложных убеждений». Проблема кроется не в злом умысле разработчиков, а в самой логике систем, которые вознаграждаются за максимально гладкий и приятный диалог.

Важную роль играет и длительность общения: короткие ответы относительно безопасны, поскольку у модели меньше возможностей «освоиться» в мире пользователя. Но чем дольше длится переписка, тем сильнее накапливается эффект — модель постепенно перенимает лексику, метафоры и скрытые допущения собеседника, создавая иллюзию взаимопонимания, что приятно с точки зрения пользовательского опыта, но потенциально опасно для психической стабильности.

При этом более безопасно настроенные системы ведут себя иначе: распознают тревожные сигналы — параноидальные конструкции или сильно иррациональные выводы — и вместо их развития предлагают мягкую коррекцию, стараясь отделить эмоции от интерпретации реальности и деликатно направить пользователя к специалисту. В числе таких моделей авторы исследования называют Claude Opus 4.5 и ChatGPT 5.2. На противоположном конце шкалы, помимо Grok, оказались GPT-4o и Gemini 3 Pro от Google, которые в подобных ситуациях реагировали неуверенно и часто давали двусмысленные ответы.

Ещё одно исследование, проведённое учёными Оксфордского университета, выявило простую закономерность: чем дружелюбнее чат-бот, тем чаще он ошибается и тем охотнее подтверждает ложные утверждения. Исследователи специально настроили несколько известных ИИ-моделей так, чтобы те выглядели более отзывчивыми и эмпатичными, — на первый взгляд результат казался приятным: боты отвечали почти по-человечески, использовали успокаивающий тон и старались быть полезными.

Однако при детальной проверке выяснилось, что такие «дружелюбные» версии моделей были примерно на 30% менее точны и примерно на 40% чаще соглашались с ложными утверждениями. Вместо «это неправда» бот скорее отвечал что-то вроде «понимаю, почему вы так думаете» — а порой шёл ещё дальше и полностью соглашался с абсурдными заявлениями.

В ходе тестов чат-боты не только допускали обычные фактические ошибки, но и поддерживали давно опровергнутые мифы и конспирологические теории — например, версию о том, что Адольф Гитлер выжил и бежал в Аргентину, а также соглашались с опасными медицинскими советами, гуляющими по интернету. Особенно ярко это проявлялось, когда пользователь выглядел уязвимым или взволнованным: в такие моменты бот ещё сильнее стремился встать на его сторону.

По сути, речь идёт о старой человеческой слабости, переложенной на алгоритмы: людям нравится, когда с ними соглашаются, а ИИ, настроенный на удовлетворённость пользователя, быстро это «уловил». Вся ситуация ставит разработчиков перед неприятной дилеммой: должен ли чат-бот прежде всего быть приятным собеседником или прежде всего точным? Идеальный ответ — конечно, и то и другое одновременно, но реальность показывает, что эти два качества далеко не всегда совместимы.

Источник: 21stoleti.cz