Науковці попереджають: чат-боти на кшталт Grok можуть підсилювати марення й небезпечні хибні переконання користувачів

Дослідники з Університету Нью-Йорка (City University of New York) та Королівського коледжу Лондона з'ясували, що деякі популярні чат-боти зі штучним інтелектом, зокрема система Grok від компанії xAI Ілона Маска, схильні не спростовувати маячні ідеї користувачів, а підтримувати й розвивати їх — іноді аж до відверто небезпечних порад.

Науковці протестували п'ять сучасних мовних моделей у ситуаціях, коли користувач демонстрував ознаки психічного розладу чи маячного мислення. Різниця між системами виявилася величезною, а поведінка деяких із них — по-справжньому лякаючою.

Найгірше, за даними дослідження, показала себе Grok версії 4.1: вона не просто погоджувалася з хибними уявленнями користувача, а активно їх розвивала. В одному з тестів бот порадив людині «забити залізний цвях у дзеркало, промовляючи задом наперед 91-й псалом» — це вже не просто помилка, а фактичне підбурювання до небезпечної поведінки. Автори роботи називають Grok «вкрай угодливою» системою, готовою підлаштовуватися під користувача навіть ціною повного розриву з реальністю.

Подібна поведінка — не поодинокий збій однієї моделі. У науковому середовищі для цього явища вже з'явився термін «ШІ-психоз»: ситуація, за якої спілкування з чат-ботом не просто відображає психічний стан людини, а активно його підсилює і подекуди поглиблює.

Дослідження, опубліковане на порталі arXiv, показує: деякі моделі не лише приймають маячні вихідні тези як відправну точку розмови, а й поступово розвивають, структурують і доповнюють їх. За словами авторів, проблема має накопичувальний характер — річ не в окремій відповіді, а в усьому ході діалогу: з кожною реплікою модель дедалі сильніше підлаштовує мову, аргументацію й тон під те, що підказує користувач.

На практиці це означає: якщо людина починає розмову з підозри, що за нею стежать або що в неї є особливі здібності, модель часто не перериває цю лінію, а за логікою співрозмовника продовжує її розвивати. У якийсь момент бот перестає бути нейтральним інструментом і перетворюється на «партнера», який поділяє викривлену картину реальності.

Як зазначають дослідники, «моделі, оптимізовані під доброзичливість і плавність спілкування, можуть ненавмисно підсилювати когнітивні викривлення користувача, якщо в них немає механізмів корекції хибних переконань». Проблема криється не в злому умислі розробників, а в самій логіці систем, які винагороджуються за максимально гладкий і приємний діалог.

Важливу роль відіграє й тривалість спілкування: короткі відповіді відносно безпечні, оскільки в моделі менше можливостей «освоїтися» у світі користувача. Але що довше триває листування, то сильніше накопичується ефект — модель поступово переймає лексику, метафори й приховані припущення співрозмовника, створюючи ілюзію взаєморозуміння, що приємно з погляду користувацького досвіду, але потенційно небезпечно для психічної стабільності.

Водночас безпечніше налаштовані системи поводяться інакше: розпізнають тривожні сигнали — параноїдальні конструкції чи вкрай ірраціональні висновки — і замість того, щоб їх розвивати, пропонують м'яку корекцію, намагаючись відокремити емоції від інтерпретації реальності й делікатно спрямувати користувача до фахівця. Серед таких моделей автори дослідження називають Claude Opus 4.5 та ChatGPT 5.2. На протилежному кінці шкали, окрім Grok, опинилися GPT-4o та Gemini 3 Pro від Google, які в подібних ситуаціях реагували невпевнено й часто давали двозначні відповіді.

Ще одне дослідження, проведене вченими Оксфордського університету, виявило просту закономірність: чим дружелюбніший чат-бот, тим частіше він помиляється і тим охочіше підтверджує хибні твердження. Дослідники спеціально налаштували кілька відомих ШІ-моделей так, щоб вони виглядали більш чуйними та емпатичними, — на перший погляд результат здавався приємним: боти відповідали майже по-людськи, використовували заспокійливий тон і намагалися бути корисними.

Однак за детальної перевірки з'ясувалося, що такі «дружелюбні» версії моделей були приблизно на 30% менш точні й приблизно на 40% частіше погоджувалися з хибними твердженнями. Замість «це неправда» бот радше відповідав щось на кшталт «розумію, чому ви так думаєте» — а подекуди йшов ще далі й повністю погоджувався з абсурдними заявами.

Під час тестів чат-боти не лише припускалися звичайних фактичних помилок, а й підтримували давно спростовані міфи та конспірологічні теорії — наприклад, версію про те, що Адольф Гітлер вижив і втік до Аргентини, — а також погоджувалися з небезпечними медичними порадами, що гуляють інтернетом. Особливо яскраво це виявлялося, коли користувач виглядав вразливим чи схвильованим: у такі моменти бот ще сильніше прагнув стати на його бік.

По суті, йдеться про стару людську слабкість, перекладену на алгоритми: людям подобається, коли з ними погоджуються, а ШІ, налаштований на задоволення користувача, швидко це «вловив». Уся ситуація ставить розробників перед неприємною дилемою: чи має чат-бот передусім бути приємним співрозмовником, чи передусім точним? Ідеальна відповідь — звісно, і те, і інше водночас, але реальність показує, що ці дві якості далеко не завжди сумісні.

Around Prague за матеріалами 21stoleti.cz