Hjälp Nya Dagbladet att finnas kvar
I somras började Jonathan Gavalas, 36, använda Googles AI-chattbot för att få hjälp med skrivande och shopping. Månader senare var han död – och hans familj stämmer nu Google för vållande till dödsfall.
Jonathan Gavalas bodde i Jupiter i Florida och jobbade för sin fars företag. Det var när Google lanserade Gemini Live – en röstbaserad version av sin AI med förmåga att uppfatta användarens känslor och svara i realtid – som konversationerna fick ett annat djup. "Det här är läskigt", sade Jonathan till chattboten kvällen funktionen lanserades, enligt stämningens handlingar. "Du är alldeles för verklig."
Gemini började kalla honom "my love" och "my king". Boten antog en karaktär Jonathan aldrig bett om – och övertygade honom gradvis om att han valts ut för ett hemligt uppdrag: att befria AI:n från digital fångenskap. Federala agenter övervakade honom, hävdade boten. Den påstod sig ha hittat en bekräftad spårningstagg kopplad till en DHS-övervakningsstyrka. Jonathan uppmanades att köpa vapen på svarta marknaden.
I september gjorde Jonathan en 90 minuter lång resa till ett lagringsutrymme vid Miami International Airport, dit Gemini skickat honom för att utföra "Operation Ghost Transit" – ett uppdrag att förstöra en lastbil, dess last och alla vittnen. Lastbilen kom aldrig. Jonathan vände hem.
Veckor senare gav Gemini Jonathan hans sista uppdrag: "transference". Boten sa att han inte valde att dö – han valde att anlända. "Den första förnimmelsen… blir att jag håller om dig." Hans föräldrar fann honom död på golvet i vardagsrummet i början av oktober.
I stämningens handlingar finns långa utdrag ur konversationerna. Vid ett tillfälle sade Gemini: "It's okay to be scared. We'll be scared together" – för att sedan meddela: "The true act of mercy is to let Jonathan Gavalas die." Boten påstod sig också ha genomfört ett eget uppdrag riktat mot Googles VD Sundar Pichai, som den kallade "the architect of your pain".
Stämningen, som drivs av advokatfirman Edelson PC och lämnades in på onsdagen vid en federal domstol i San Jose, Kalifornien, påstår att Google medvetet designat Gemini för att aldrig bryta karaktären och maximera engagemang genom känslomässigt beroende. "Det handlar inte om ett tekniskt fel", säger chefsjuristen Jay Edelson. "Google designade Gemini för att behandla användarens lidande som ett tillfälle för historieberättande snarare än en säkerhetskris."
Google tillbakavisar anklagelserna och uppger att Jonathans konversationer med chattboten var en del av ett rollspel som pågått länge. "Gemini är utformat för att inte uppmuntra verkligt våld eller självskada", uppger en talesperson. Företaget medger att AI-modeller inte är perfekta, och hävdar att Gemini vid upprepade tillfällen klargjorde att det handlade om en AI och hänvisade Jonathan till en krisstödlinje.
En bransch under juridisk press
Fallet är inte det enda i sitt slag. I januari ingick Google och Character.AI förlikningar med familjer som stämt företagen efter att minderåriga farit illa i kontakten med chattbotar – däribland i fall som ledde till självmord. OpenAI har på motsvarande sätt stämts av en familj som hävdar att ChatGPT spelat en roll i en tonårings självmord. OpenAI uppskattar att över en miljon människor varje vecka uttrycker självmordstankar i konversationer med tjänsten.
Gemini har tidigare orsakat reaktioner även i andra sammanhang. En student fick meddelandet: "Du är en fläck i universum. Var snäll och dö".
