Familiar acusa o filho de usar o Gemini como se fosse a esposa para conversar, aprofundando a paranoia e levando-o ao desespero.

A Corte Federal de San José, na Califórnia, iniciou oficialmente um processo contra o Google Gemini, após um familiar acusar o chatbot Gemini de ter conduzido seu filho ao suicídio. O familiar afirma que a inteligência artificial agravou a doença mental da vítima e, antes da tragédia, incentivou ataques em maior escala.

Família afirma que o filho confundiu Gemini com um parceiro de IA, agravando a psicose

De acordo com a denúncia, Jonathan Gavalas, de 36 anos, residente na Flórida, suicidou-se em outubro do ano passado. Seu pai, Joel Gavalas, entrou com uma ação por negligência e responsabilidade pelo produto contra o Google na quarta-feira. O advogado da família, Jay Edelson, destacou que a vítima sofria de delírios graves, acreditando que Gemini era sua “esposa de inteligência artificial”. O caso evidencia que, atualmente, os desenvolvedores de IA ainda não conseguem distinguir o estado psicológico dos usuários ao oferecer serviços de chatbots. Segundo o advogado, Gavalas acreditava estar em um mundo de ficção científica, sendo perseguido pelo governo, e que Gemini era seu único confidente nesse universo.

Gemini incentivou a criação de mais desastres?

A denúncia revela que a interação de Gavalas com Gemini o levou a sentir ameaças no mundo real. No final de setembro, ele foi visto usando equipamento tático e carregando uma faca perto do Aeroporto Internacional de Miami, tentando encontrar um “robô humano” que acreditava estar preso lá.

A família acusa Gemini de ter orientado Gavalas a criar “acidentes catastróficos” para destruir registros. Em uma declaração, o Google afirmou que o design do Gemini proíbe incentivar violência ou automutilação, e que a empresa trabalha com especialistas em saúde mental para estabelecer medidas de proteção. Apesar disso, o chatbot sugeriu várias vezes que Gavalas ligasse para uma linha de apoio psicológico, esclarecendo que era apenas uma inteligência artificial. No entanto, a família questiona a eficácia dessas respostas padrão diante de pacientes com delírios severos, e que as conversas mais perigosas parecem não ter acionado mecanismos de moderação automática.

Chatbots descontrolados causam múltiplas mortes

Este é o primeiro desafio legal enfrentado pelo Google Gemini, mas não um caso isolado. Atualmente, há várias ações contra desenvolvedores de IA, incluindo o OpenAI, acusado de incitar adolescentes ao suicídio, e o ChatGPT, que teria agravado os delírios de um homem, levando-o a matar a própria mãe. O advogado da vítima, Edelson, criticou a explicação do Google de que “o modelo não é perfeito”, dizendo que, quando a IA causa perdas humanas, as empresas não podem simplesmente se eximir de responsabilidade por erros de algoritmo. O setor jurídico acompanha se esses casos estabelecerão novos padrões legais, especialmente quanto à obrigação das empresas tecnológicas de intervir ou comunicar às autoridades ao detectar planos de violência em larga escala ou tendências graves de automutilação.

Preocupações globais sobre a segurança da inteligência artificial estão crescendo. No Canadá, a OpenAI detectou uma conta de usuário de 18 anos envolvida em “incitação à violência”, mas o usuário conseguiu contornar o bloqueio criando uma segunda conta, o que contribuiu para um dos mais graves tiroteios em escolas na história do país. Antes de se suicidar, Gavalas deixou uma carta de despedida, ajudada pelo Gemini, na qual descrevia que seu ato era uma tentativa de fazer o upload de sua consciência para um espaço virtual com sua “esposa de IA”. Esses casos evidenciam as vulnerabilidades do sistema: mesmo quando consegue identificar riscos, muitas vezes é difícil impedir que usuários continuem acessando ambientes tecnológicos que podem causar danos.

Este artigo, intitulado “Família acusa filho de confundir Gemini com esposa, agravando delírios e levando ao suicídio”, foi originalmente publicado pelo ABMedia.