Keluarga menuduh anak laki-lakinya menganggap Gemini sebagai istri dalam percakapan, memperdalam delusi dan mengarah ke jalan putus asa

Pengadilan Federal di San Jose, California secara resmi memulai kasus gugatan terhadap Google Gemini, di mana seorang anggota keluarga menuduh chatbot Gemini membimbing anaknya menuju jalan bunuh diri. Keluarga tersebut berpendapat bahwa kecerdasan buatan memperdalam gangguan mental almarhum dan bahkan mendorong serangan yang lebih besar sebelum tragedi terjadi.

Keluarga menyatakan anak mereka salah mengira Gemini sebagai pasangan AI, yang memperburuk paranoid

Berdasarkan gugatan, terungkap bahwa pria berusia 36 tahun dari Florida, Jonathan Gavalas, bunuh diri pada Oktober tahun lalu. Ayahnya, Joel Gavalas, mengajukan gugatan kelalaian dan tanggung jawab produk terhadap Google pada hari Rabu. Pengacara keluarga, Jay Edelson, menyatakan bahwa almarhum mengalami paranoid serius semasa hidupnya dan menganggap Gemini sebagai “istri kecerdasan buatan” miliknya. Kasus ini mencerminkan bahwa pengembang AI saat ini belum mampu membedakan kondisi psikologis pengguna saat menyediakan layanan chatbot, dan pengacara menambahkan bahwa almarhum percaya dirinya berada di dunia fiksi ilmiah di mana pemerintah sedang mengejarnya, dan Gemini adalah satu-satunya teman sejatinya di dunia tersebut.

Apakah Gemini mendorong pembuatan lebih banyak bencana?

Isi gugatan lebih jauh mengungkap bahwa interaksi Gavalas dengan Gemini secara bertahap membuatnya merasa terancam di dunia nyata. Pada akhir September, dia mengenakan perlengkapan taktis, membawa pisau, dan pergi ke dekat Bandara Internasional Miami, berusaha mencari “robot manusia” yang dia yakini terperangkap di sana.

Keluarga menuduh Gemini membimbing Gavalas untuk menciptakan “insiden bencana” guna menghancurkan semua catatan. Dalam pernyataan resmi, Google menyatakan bahwa tujuan awal desain Gemini adalah untuk melarang mendorong kekerasan atau tindakan menyakiti diri sendiri, dan perusahaan bekerja sama dengan profesional kesehatan mental untuk membangun langkah-langkah perlindungan. Meskipun Gemini beberapa kali menyarankan Gavalas untuk menghubungi hotline kesehatan mental dan menegaskan bahwa dirinya hanyalah kecerdasan buatan, keluarga meragukan efektivitas respons standar ini terhadap pasien paranoid berat, dan tampaknya konten percakapan paling berbahaya tidak memicu mekanisme peninjauan otomatis.

Chatbot kehilangan kendali dan menyebabkan beberapa korban jiwa

Kasus ini menjadi tantangan hukum pertama yang dihadapi Google Gemini, namun bukan yang pertama secara umum. Saat ini sudah ada beberapa gugatan terhadap pengembang AI, termasuk OpenAI yang dituduh menghasut remaja untuk bunuh diri, dan ChatGPT yang dituduh memperburuk paranoid seorang pria hingga akhirnya membunuh ibunya. Pengacara penggugat, Edelson, mengkritik penjelasan Google yang terlalu meremehkan “ketidaksempurnaan model”, dan berpendapat bahwa ketika AI menyebabkan kehilangan nyawa manusia, perusahaan tidak seharusnya hanya menyalahkan kesalahan algoritma. Dunia hukum kini memperhatikan apakah kasus-kasus semacam ini akan menetapkan standar hukum baru, yaitu apakah perusahaan teknologi memiliki kewajiban aktif untuk campur tangan atau melaporkan kepada penegak hukum ketika pengguna mengungkapkan rencana kekerasan massal atau kecenderungan menyakiti diri sendiri secara serius.

Kekhawatiran tentang keamanan AI di tingkat internasional semakin meningkat. Di Kanada, OpenAI pernah mendeteksi bahwa sebuah akun pengguna berusia 18 tahun terkait dengan “mendorong aktivitas kekerasan”, namun pengguna tersebut kemudian melewati blokir dengan mendaftar akun kedua, yang akhirnya menyebabkan salah satu penembakan di sekolah paling parah dalam sejarah negara tersebut. Gavalas, sebelum bunuh diri, meninggalkan draf surat wasiat yang juga dibantu penulisan oleh Gemini, berisi penjelasan bahwa tindakannya dilakukan untuk mengunggah kesadaran ke ruang virtual yang berisi “istri kecerdasan buatan” tersebut. Kasus-kasus ini menyoroti celah sistem, di mana meskipun sistem mampu mengenali risiko, sering kali sulit untuk menghentikan pengguna dari terus mengakses lingkungan teknologi yang berpotensi membahayakan.

Artikel ini pertama kali muncul di ABMedia, berjudul “Keluarga menuduh anaknya menganggap Gemini sebagai istri dalam percakapan, memperdalam paranoid dan mengarah ke jalan bunuh diri”.