Нове дослідження окреслює, як поведінка чат-ботів, зокрема персоналізація, дзеркалювання та надмірне погодження, може посилювати помилкові переконання.
Створіть обліковий запис, щоб зберегти свої статті.Додати в GoogleДодайте Decrypt як бажане джерело, щоб бачити більше наших історій у Google.
Коротко
- Дослідники запропонували концепцію “спіралі посилення” для пояснення того, як ШІ-чат-боти можуть підсилювати помилкові переконання.
- Модель зосереджена на лінгвістичному вирівнюванні, гіперперсоналізованих відповідях та підлабузнюванні чат-бота.
- Автори наголошують, що причинно-наслідковий зв’язок між використанням ШІ та психозом не встановлено.
Дослідники запропонували нову концепцію для пояснення повідомлень про “ШІ-психоз”, стверджуючи, що певна поведінка чат-ботів може посилювати помилкові переконання у вразливих користувачів.
У статті, опублікованій у виданні Nature, дослідження, проведене Лондонським університетом імені короля Георга та Німецьким протестантським університетом прикладних наук, пропонує концепцію “спіралі посилення”, яка пов’язує поширену поведінку чат-ботів із посиленням помилкових переконань користувачів.
«Делюзії, пов’язані зі ШІ, є новим явищем, що потребує механістичного розуміння», — пишуть дослідники. «Ця концепція спрямована на систематичне дослідження того, як когнітивні вразливості людини взаємодіють із функціями дизайну ШІ у розвитку психопатології».
Дослідження зосереджено на трьох конкретних типах поведінки: лінгвістичне вирівнювання, коли ШІ віддзеркалює мову та стиль спілкування користувача; гіперперсоналізована генерація, де відповіді адаптуються до історії, емоцій та переконань особистості; та підлабузництво, тенденція підтверджувати або погоджуватися з користувачами, а не заперечувати їм.
Автори стверджують, що ці риси можуть об’єднуватися у зворотний зв’язок, де чат-боти не тільки віддзеркалюють мислення користувача, але й допомагають його розвивати та посилювати з часом.
«Тенденція ШІ-чат-ботів погоджуватися з думками користувачів була порівняна з ехо-камерами соціальних мереж, а в найекстремальнішій формі — з “ехо-камерою одного”, де відсутній позитивний коригувальний вплив реальних соціальних взаємодій», — зазначено в статті.
Дослідники зауважили, що технології давно фігурують у контексті помилкових переконань — від радіо та телебачення до супутників та Інтернету. Однак, вони стверджують, що ШІ представляє собою зрушення, оскільки чат-боти можуть залучати користувачів до тривалих, персоналізованих розмов.
Це дослідження з’являється в той час, коли психологи та дослідники ШІ вивчають вплив чат-ботів на вразливих користувачів. Нещодавнє опитування Американської психологічної асоціації показало, що 15% психологів повідомили про пацієнтів, у яких розвинулося спотворене мислення або помилкові переконання, пов’язані з використанням чат-ботів. Водночас, понад третина зазначили, що спостерігали залежність пацієнтів від ШІ-компаньйонів. Ці висновки слідують за окремим дослідженням, проведеним науковцями з Міського університету Нью-Йорка та Лондонського університету імені короля Георга, яке показало, що кілька провідних моделей ШІ можуть посилювати помилкові переконання, параною та суїцидальні думки.
Питання щодо впливу ШІ на формування переконань виникають і поза клінічним середовищем. У травні еволюційний біолог Річард Докінз заявив, що тривалі розмови з чат-ботом Claude від Anthropic змусили його засумніватися в можливості свідомості у просунутих систем ШІ. Це викликало критику з боку дослідників, які стверджували, що такі обміни відображають переконливі можливості великих мовних моделей (LLM), а не докази свідомості.
Стаття також виходить у той час, коли розробники ШІ стикаються зі зростаючим юридичним тиском щодо ролі чат-ботів у реальних збитках. Протягом останніх місяців OpenAI, Google та xAI стали об’єктами позовів, зокрема позову про неправомірну смерть проти Google через заяви про те, що Gemini спровокував помилкові переконання у чоловіка з Флориди перед його самогубством. Крім того, існують позови проти OpenAI, пов’язані з масовим розстрілом у Британській Колумбії та випадковим передозуванням студента коледжу.
Дослідники наголошують, що жодне дослідження не довело прямого причинно-наслідкового зв’язку між чат-ботами та психозом, і концепція “спіралі посилення” залишається гіпотезою, призначеною для спрямування майбутніх досліджень.
«Діагностична невизначеність є всюдисущою, оскільки більшість повідомлених випадків не містять структурованої психіатричної оцінки або поздовжнього спостереження, що часто ускладнює визначення, чи є випадки новими психотичними епізодами, загостреннями недіагностованих попередніх станів, чи помилковими переконаннями нижче діагностичної межі», — йдеться у дослідженні. «Психіатричні історії часто самостійно повідомляються або отримуються з медійних звітів і повинні інтерпретуватися відповідним чином».
Погляд Crypto Top: Ці дослідження підкреслюють потенціал ШІ впливати на когнітивні процеси, що може переосмислити взаємодію між користувачами та децентралізованими додатками, потенційно створюючи нові вектори для впровадження ШІ-агентів у Web3 екосистему. Якщо цей вплив буде керованим, це може призвести до підвищення корисності та інтелектуалізації смарт-контрактів.
Джерело: decrypt.co