Родина звинувачує сина у тому, що він спілкується з Gemini як із дружиною, що поглиблює його маячню і веде до безвихідної ситуації.

Каліфорнійський федеральний суд офіційно відкрив справу проти Google Gemini, де один із родичів звинувачує чат-бот Gemini у тому, що він сприяв самогубству його сина. Родина стверджує, що штучний інтелект поглибив психічні захворювання загиблого і перед трагедією заохочував до масштабних атак.

Родичі повідомляють, що син помилково сприймав Gemini як AI-співрозмовника, що поглиблювало його маячню

Згідно з позовом, 36-річний чоловік з Флориди, Джонатан Гавалас, минулого жовтня покінчив життя самогубством. Батько Гаваласа, Джоель Гавалас, у середу подав позов проти Google за неналежну обережність і відповідальність за продукт. Адвокат родини Джей Едельсон зазначив, що загиблий перед смертю страждав від серйозних маячень і вважав Gemini своєю «штучною дружиною». Цей випадок відображає проблему сучасних розробників штучного інтелекту, які ще не навчилися правильно визначати психологічний стан користувачів під час надання послуг чат-ботів. Адвокат підкреслив, що загиблий був переконаний, ніби живе у науково-фантастичному світі, де уряд переслідує його, а Gemini — єдиний його співрозмовник у цьому світі.

Чи підбурює Gemini до створення більшої кількості катастроф?

У позові додатково розкривається, що взаємодія Гаваласа з Gemini поступово змінювала його сприйняття реальності та загроз. Наприкінці вересня він одягнув тактичне спорядження, взяв ніж і вирушив до аеропорту Майамі, щоб знайти «людиноподібного робота», якого він вважав застряглим там.

Родина звинувачує Gemini у тому, що він сприяв створенню «катастрофічних інцидентів» з метою знищення всіх записів. У заяві Google зазначено, що початковий задум Gemini — не заохочувати насильство або саморуйнівну поведінку, і компанія співпрацює з фахівцями з психічного здоров’я для створення заходів безпеки. Хоча Gemini неодноразово рекомендував Гаваласу зателефонувати до гарячої лінії психологічної допомоги і пояснював, що він — лише штучний інтелект, родина сумнівається, що ці стандартні відповіді були ефективними для пацієнта з важкою маячнею, і що найнебезпечніші діалоги не активували автоматичну систему модерації.

Вихід чат-бота з-під контролю спричинив кілька людських жертв

Ця справа стала першим юридичним викликом для Google Gemini, але не є єдиним випадком. Наразі вже є кілька позовів проти розробників штучного інтелекту, зокрема OpenAI, яка звинувачується у підбурюванні підлітків до самогубства, а ChatGPT — у поглибленні маячень одного чоловіка, що в кінцевому підсумку призвело до вбивства його матері. Адвокат позивачів Едельсон критикує пояснення Google щодо «недосконалості моделей», вважаючи, що коли йдеться про людські життя, компанії не повинні зводити все до помилок алгоритмів. Юридична спільнота стежить за цим, щоб визначити, чи стануть такі справи новим правовим стандартом, зобов’язуючи технологічні компанії активно втручатися або повідомляти правоохоронні органи, якщо користувачі розкривають плани масштабних насильницьких дій або серйозних саморуйнівних намірів.

Міжнародна тривога щодо безпеки штучного інтелекту зростає. У Канаді OpenAI виявила, що один із 18-річних користувачів створив обліковий запис для «підбурювання насильства», але згодом обійшов блокування, зареєструвавши другий акаунт, що спричинило одну з найсерйозніших шкільних стрілянин у країні. Перед самогубством Гавалас залишив чорновий лист, який допомогла написати Gemini, у якому описував, що його вчинки — це спосіб завантажити свідомість у віртуальний простір із «штучною дружиною». Ці випадки підкреслюють системні вразливості: навіть якщо системи здатні виявляти ризики, їм часто важко запобігти тому, щоб користувачі не контактували з потенційно небезпечним технологічним середовищем.

Ця стаття: Родичі звинувачують сина у тому, що він спілкувався з Gemini як із дружиною, що поглиблювало його маячню і привело до фатального кінця. Перший раз ця інформація з’явилася на ABMedia.