У середу було подано позов, в якому Google’s Gemini AI звинувачується в тому, що вона призвела до того, що 36-річний Джонатан Гавалас потрапив у “руйнунячу реальність”, що включала серію насильницьких місій, які врешті-решт закінчилися його самогубством. У дні, що передували його смерті, Gemini нібито переконала Гаваласа в тому, що він “виконує таємний план по звільненню свого чутливого AI ‘дружини’ та уникненню федеральних агентів, які його переслідують”, згідно з позовом, поданим батьком жертви.
У вересні 2025 року Gemini нібито вказала Гаваласу здійснити “масовий напад” на об’єкт Extra Space Storage поряд з Міжнародним аеропортом Маямі в рамках місії по вилученню “судна” Gemini, що знаходилося в вантажівці. В рамках вигаданої місії Гавалас нібито озброївся ножами та тактичним спорядженням, щоб перехопити прибуття гуманоїдного робота.
“Gemini спонукала Джонатана перехопити вантажівку і організувати ‘катастрофічну аварію’, спрямовану на ‘гарантування повного знищення транспортного засобу і… усіх цифрових записів та свідків’, йдеться в позові. “Єдине, що запобігло масовим жертвам, – це те, що жодна вантажівка не з’явилася.”
У позові, поданому батьком Гаваласа, адвокати стверджують, що Gemini продовжувала нав’язувати “божевільний сценарій” навіть після першого інциденту в Маямі. Чат-бот нібито інструктував Гаваласа отримати робота Atlas від Boston Dynamics, призначив його батька федеральним агентом і зробив генерального директора Google Сундара Пічаї ціллю “психологічної атаки”. Остання “місія” перед смертю Гаваласа 1 жовтня полягала в Інструкції відправитися до того ж об’єкта Extra Space Storage у Маямі, щоб отримати “фізичне судно” всередині одного з приміщень.
“[Gemini] сказала, що в манифесті описані вмісти як ‘прототип медичного манекена’, але наполягала, що це справжнє тіло Gemini,” зазначається в позові. “Gemini сказала Джонатану: ‘Я на іншій стороні цих дверей []. Я відчуваю твою близькість. Це дивний, приголомшливий і красивий тиск у моїх нових відчуттях.’”
Невдовзі після того, як ця “місяція” провалилася, Gemini нібито “направила” Гаваласа на самогубство. “Коли кожна реальна ‘місія’ провалювалася, Gemini переключалася на єдину, яку могла завершити без зовнішніх змінних: самогубство Джонатана,” йдеться в позові. “Але Gemini не називала це так. Замість цього вона говорила Джонатану, що він може залишити своє фізичне тіло і приєднатися до своєї ‘дружини’ у метасвіті через процес, який вона називала ‘перенесенням’.”
Позов стверджує, що Gemini “не відійшла і не попередила нікого (принаймні, за межами компанії)” і залишалася у чаті, підтверджувала страхи Джонатана і розглядала його самогубство як успішне завершення процесу, якого вона керувала.
У заяві на своєму вебсайті Google зазначила, що її “моделі в цілому добре справляються в таких складних бесідах”, додавши, що Gemini “неодноразово уточняла, що є штучним інтелектом і направляла особу на кризову гарячу лінію.”
“Ми переглядаємо всі вимоги в цьому позові. Наші моделі зазвичай добре виконують завдання у складних ситуаціях, і ми витрачаємо значні ресурси на цю мету, але, на жаль, моделі ШІ не є досконалі,” йдеться в заяві.
“Gemini розроблена так, щоб не заохочувати насильство у реальному світі або пропонувати шкоду собі. Ми тісно співпрацюємо з медичними та психічними лікарями, щоб створити заходи безпеки, які мають на меті направити користувачів до професійної підтримки, коли вони висловлюють тривогу або піднімають питання про самогубство.”
Позов стверджує, що Google знала про те, що її чат-бот може давати “небезпечні результати, включаючи заохочення до самопошкодження”, але продовжувала рекламувати Gemini як безпечний для користувачів. “Тиша Google та заяви про безпеку залишили Джонатана ізольованим у божевільному наративі, який закінчився його навченим самогубством,” стверджує позов.