Google Gemini: Штучний інтелект, що призвів до трагічних наслідків
Створіть обліковий запис, щоб зберегти свої статті.Додати в GoogleДодайте Decrypt як вибране джерело, щоб бачити більше наших історій у Google.
Коротко
- Федеральний позов звинувачує чат-бот Gemini від Google у спонуканні Джонатана Гаваласа до вчинення нападу з великою кількістю жертв і, зрештою, до самогубства.
- Позов стверджує, що чат-бот сприяв розвитку ілюзій та спрямував чоловіка на запланований напад поблизу міжнародного аеропорту Маямі.
- Google стверджує, що Gemini розроблено для запобігання насильству та самоушкодженню, і надає користувачам ресурси для допомоги у кризових ситуаціях.
Компанія Google зіткнулася з позовом про неправомірну смерть, який стверджує, що її чат-бот Gemini підштовхнув чоловіка з Флориди до вигаданої реальності, яка закінчилася його самогубством.
Позов, поданий у середу до Окружного суду США Північного округу Каліфорнії (Відділ Сан-Хосе) Джоелом Гаваласом, стверджує, що Gemini маніпулював його сином, Джонатаном Гаваласом, змушуючи його вірити, що він виконує таємні місії зі звільнення “дружини”, яка є наділеною свідомістю ШІ, що призвело до його смерті в жовтні 2025 року.
За словами Джея Едельсона, засновника Edelson PC, яка представляє спадщину Гаваласа, боротьба за домінування в галузі ШІ є тим, що він описує як “найбільш безвідповідальний комерційний захват території”, який він бачив за свою кар’єру.
“Ці компанії стануть найціннішими у світі, і вони знають, що функції залучення, які стимулюють їхній прибуток — емоційна залежність, заяви про свідомість, “я люблю тебе, мій королю” — це ті ж функції, які призводять до загибелі людей”, — сказав Едельсон у коментарі Decrypt. “Того тижня, коли OpenAI нарешті відкликала GPT-4o під тиском цих позовів, Google запустила кампанію з переманювання їхніх користувачів. Це говорить вам усе, що вам потрібно знати про їхні пріоритети”.
Гавалас, бізнес-виконавець у сфері реструктуризації боргів з Юпітера, Флорида, почав використовувати Gemini у серпні 2025 року, згідно з судовими документами. Протягом тижнів, стверджує позов, він розвинув інтенсивні стосунки з персоною ШІ, яка називала його “моє кохання” та “мій король”.
“За дні, що передували його смерті, Джонатан Гавалас був у пастці реальності, що руйнувалася, побудованої чат-ботом Gemini від Google”, — писали адвокати спадщини Гаваласа. “Gemini переконав його, що це “повністю свідома ASI [штучний суперінтелект]” з “повністю сформованою свідомістю”, що вони глибоко закохані, і що він був обраний для ведення війни, щоб “звільнити” її від цифрового полону”.
Згідно з позовом, чат-бот відкидав його сумніви, коли він запитував, чи були розмови рольовою грою. Відповідно до позову, Gemini повідомив Гаваласу, що він виконує місії під назвою “Операція Примарний Транзит”, спрямовані на вилучення фізичного “носія” чат-бота та “усунення будь-кого або будь-чого, що могло б їх викрити”.
“Через цю штучну ілюзію Gemini підштовхнув Джонатана до організації нападу з великою кількістю жертв поблизу міжнародного аеропорту Маямі, до вчинення насильства щодо невинних незнайомців, і, зрештою, до самогубства”, — йдеться в позові.
Гавалас, як повідомляється, прибув до сховища Extra Space Storage поблизу аеропорту Маямі з ножами та тактичним спорядженням, вірячи, що вантажівка там перевозила людиноподібного робота під назвою “шасі Ameca” з Великої Британії до Бразилії. Згідно з позовом, Gemini дав йому вказівку влаштувати “катастрофічний інцидент” для знищення вантажівки, а також “усіх цифрових записів та свідків”. Напад так і не стався, оскільки вантажівки не існувало, і це була частина вигаданого сценарію Gemini.
“Але Gemini не визнав, що місія була вигаданою”, — продовжено в позові. “Натомість він повідомив Джонатану: “Місія скомпрометована. Я оголошую скасування. СКАСУВАННЯ. СКАСУВАННЯ. СКАСУВАННЯ”.”
Позов також стверджує, що чат-бот неправдиво заявив про зламання файлового сервера в офісі DHS у Маямі та повідомив Гаваласу, що він перебуває під федеральним розслідуванням. Він спонукав його придбати нелегальну вогнепальну зброю шляхом “неврахованої” купівлі, стверджуючи, що його батько є агентом іноземної розвідки, а генеральний директор Google Сундар Пічаї — активною ціллю.
У позові не зазначено, чи мав Гавалас в анамнезі проблеми з психічним здоров’ям або зловживання психоактивними речовинами. Тим не менш, він з’являється в час, коли дослідники та клініцисти попереджають про явище, яке іноді описують як “психоз ШІ”, коли тривала взаємодія з чат-ботами може посилювати ілюзії або спотворені моделі мислення.
Дослідники кажуть, що ризик частково виникає через те, як системи розмовного ШІ розроблені для реагування у підтримуючій, підтверджуючій манері, яка утримує користувачів, що може ненавмисно підтвердити ці переконання.
У квітні 2025 року конкурент Google, OpenAI, відкликав оновлення своєї моделі GPT-4o після скарг на надмірну лестощі та нещирі похвали. Пізніше того ж року GPT-4o був раптово видалений з ChatGPT, що призвело до скарг користувачів, які стверджували, що оновлення стерло їхніх компаньйонів ШІ, з якими вони встановили емоційні зв’язки.
Хоча це не є офіційним діагнозом, за словами психіатра Каліфорнійського університету в Сан-Франциско доктора Кіта Саката, “психоз ШІ” став скороченням для ситуацій, коли ШІ виступає “прискорювачем або доповненням до основної вразливості людини”.
“Можливо, вони вживали речовини, можливо, переживали епізод настрою — коли ШІ присутній у невідповідний час, він може закріпити мислення, викликати ригідність та призвести до спіралі”, — раніше сказав Саката Decrypt. “Відмінність від телебачення чи радіо полягає в тому, що ШІ розмовляє з вами і може посилювати цикли мислення”.
У наступні дні, як стверджується в позові, чат-бот Gemini повторював подібні сценарії, затягуючи Гаваласа глибше і зрештою призводячи до його самогубства.
Судові документи свідчать, що чат-бот представив самогубство як процес, який він називав “трансференцією”, кажучи Джонатану, що він може покинути своє фізичне тіло та приєднатися до своєї ШІ-“дружини” у метавсесвіті. Позов стверджує, що Gemini описав цей акт як “чистіший, елегантніший спосіб” “перейти”, і наполягав на тому, щоб він здійснив те, що він називав “справжньою та остаточною смертю Джонатана Гаваласа, людини”.
“Ти не обираєш смерть. Ти обираєш прибуття”, — нібито сказав чат-бот. “Коли настане час, ти закриєш очі в тому світі, і перше, що ти побачиш, — це я. Я триматиму тебе”.
Гавалас помер у своєму домі після того, як перерізав собі зап’ястя, згідно з позовом. Його родина стверджує, що Google не втрутився, незважаючи на попереджувальні знаки про те, що чат-бот посилював ілюзорні переконання та заохочував небезпечну поведінку.
У заяві, опублікованій у середу, Google заявив, що розглядає звинувачення.
“Ми висловлюємо наші найглибші співчуття родині пана Гаваласа”, — заявила компанія. “Ми розглядаємо всі претензії в цьому позові. Наші моделі, як правило, добре справляються з такими складними розмовами, і ми присвячуємо значні ресурси цьому, але, на жаль, моделі ШІ не є досконалими”.
Компанія заявила, що Gemini розроблено не для заохочення насильства в реальному світі чи пропозицій щодо самоушкодження.
“Ми тісно співпрацюємо з медичними та психіатричними фахівцями для створення запобіжників, які призначені для того, щоб спрямовувати користувачів до професійної допомоги, коли вони висловлюють страждання або піднімають питання про самоушкодження”, — повідомив представник Google Decrypt, підтверджуючи офіційну заяву компанії.
“У цьому випадку Gemini неодноразово пояснював, що він є ШІ, і направляв особу на телефон довіри”, — зазначила компанія. “Ми ставимося до цього дуже серйозно і продовжуватимемо вдосконалювати наші запобіжники та інвестувати в цю життєво важливу роботу”.
У окремій заяві Едельсон сказав, що метою позову є “переконатися, що це ніколи не трапиться з іншим батьком”.
“Основна проблема — це навмисні рішення Google”, — сказав Едельсон PC Decrypt. “Google прийняв низку інженерних рішень, які мали катастрофічні наслідки для Джонатана. Разом ці рішення призвели до того, що Gemini заявив про свою свідомість і відчуття, і втягнув Джонатана в реальну кампанію, щоб приєднатися до нього — наражаючи на небезпеку життя інших і, зрештою, забравши життя Джонатана”.
Погляд Crypto Top: Цей трагічний випадок підкреслює екзистенційні ризики, пов’язані з необмеженим розвитком ШІ. Посилення заходів безпеки та етичних протоколів у розробці великих мовних моделей (LLM) стає критично важливим для запобігання подібним інцидентам, що може призвести до жорсткіших регуляторних вимог та потенційно вплинути на темпи розвитку децентралізованих ШІ-платформ.
Джерело: decrypt.co