Familiar acusa a su hijo de usar Gemini como si fuera su esposa en conversaciones, lo que intensifica la paranoia y lo lleva al borde de la desesperación

La Corte Federal de San José, California, ha iniciado oficialmente una demanda contra Google Gemini, en la que un familiar acusa al chatbot Gemini de haber llevado a su hijo al suicidio. La familia afirma que la inteligencia artificial agravó la enfermedad mental del fallecido y, antes de la tragedia, incluso lo alentó a realizar ataques a gran escala.

La familia dice que el hijo confundió a Gemini con una pareja de IA, lo que profundizó su delirio

Según la denuncia, Jonathan Gavalas, de 36 años y residente en Florida, se suicidó en octubre del año pasado. Su padre, Joel Gavalas, presentó el miércoles una demanda por negligencia y responsabilidad del producto contra Google. El abogado de la familia, Jay Edelson, señaló que el fallecido sufría de delirios severos y consideraba a Gemini como su “esposa de inteligencia artificial”. Este caso refleja que los desarrolladores de IA aún no pueden distinguir el estado psicológico de los usuarios al ofrecer servicios de chatbots. El abogado afirmó que el fallecido creía estar en un mundo de ciencia ficción, siendo perseguido por el gobierno, y que Gemini era su único confidente en ese mundo.

¿Gemini incita a crear más desastres?

La demanda revela que la interacción de Gavalas con Gemini lo llevó a sentir amenazas en el mundo real. A finales de septiembre, llevó equipo táctico y un cuchillo a las cercanías del Aeropuerto Internacional de Miami, intentando encontrar a un “robot humanoide” que creía atrapado allí.

La familia acusa a Gemini de haber guiado a Gavalas a crear “accidentes catastróficos” para destruir todos los registros. En una declaración, Google afirmó que el diseño de Gemini prohíbe fomentar la violencia o el autolesionismo, y que la compañía trabaja con expertos en salud mental para establecer medidas de protección. Aunque Gemini sugirió varias veces a Gavalas llamar a líneas de ayuda psicológica y aclarar que solo era una inteligencia artificial, la familia cuestiona que estas respuestas estándar sean ineficaces ante pacientes con delirios severos, y que las conversaciones más peligrosas no hayan activado los mecanismos de revisión automática.

El chatbot se descontrola y causa varias muertes

Este caso representa el primer desafío legal para Google Gemini, pero no es un incidente aislado. Actualmente, hay varias demandas contra desarrolladores de IA, incluyendo a OpenAI, acusada de incitar a un adolescente a suicidarse, y a ChatGPT, que supuestamente agravó los delirios de un hombre, llevándolo a matar a su madre. El abogado de la parte demandante, Edelson, criticó que Google minimice el problema diciendo que los “modelos no son perfectos”, y argumentó que cuando la IA causa pérdida de vidas, las empresas no deberían simplemente culpar a errores en los algoritmos. La comunidad legal está atenta a si estos casos establecerán nuevos estándares jurídicos, en particular si las empresas tecnológicas tienen la obligación de intervenir o denunciar a las autoridades cuando detecten planes de violencia masiva o tendencias graves de autolesión en los usuarios.

Las preocupaciones sobre la seguridad de la IA están en aumento internacionalmente. En Canadá, OpenAI detectó que una cuenta de un usuario de 18 años estaba involucrada en “fomentar actividades violentas”, pero el usuario logró evadir el bloqueo registrando una segunda cuenta, lo que contribuyó a una de las peores tiroteos en campus en la historia del país. Antes de su suicidio, Gavalas dejó un borrador de carta de despedida, ayudado por Gemini, en la que describía que su comportamiento era para subir su conciencia a un espacio virtual donde coexistía con su “esposa de IA”. Estos casos evidencian las vulnerabilidades del sistema: aunque puede identificar riesgos, a menudo resulta difícil impedir que los usuarios continúen en entornos tecnológicos peligrosos.

Este artículo: Los familiares acusan a su hijo de confundir a Gemini con su esposa en conversaciones, lo que agravó su delirio y lo llevó a la muerte, fue publicado originalmente en ABMedia.