Pappan fick sina konton avstängda och blev polisanmäld av Googles AI efter att en sjuksköterska uppmanat föräldrarna att skicka in bilder på sonens svullna könsorgan så att läkaren skulle kunna titta på dem och ge rätt behandling.

Trots att polisen konstaterade att det inte handlar om barnporr vägrar Google att be om ursäkt eller lämna tillbaka mannens konton.

Artikeln publicerades ursprungligen den 26 augusti 2022.

En mamma i San Fransisco tog på en sjuksköterskas begäran bilder med sin makes mobiltelefon på sin fyraårige sons svullna könsorgan för att läkaren skulle kunna titta på bilderna och ge adekvat vård och rådgivning. Händelsen utspelade sig i början av 2021 när många vårdgivare i USA enbart behandlade covid-relaterade fall och övriga om möjligt uppmanades att söka vård via distans och kontakta läkare via dator eller telefon.

Så gjorde också den 40-årige mjukvaruingenjören ”Mark” och hans hustru efter att de märkt hur det lilla barnets könsorgan började svälla upp och bli värre och värre. Läkaren studerade sedan bilderna de skickat in och skrev ut nödvändig antibiotika – något som också ledde till att barnet tillfrisknade.

Det hela slutade dock inte där. Bilderna på barnets könsorgan hade nämligen tagits med en mobiltelefon som körs med Google-ägda Android och två dagar senare fick Mark reda på att hans konton stängts av på grund av ”skadligt innehåll” som påstods bryta mot lagen och Googles regelverk.

Mark fick heller ingen detaljerad förklaring kring varför hans konton stängts av men började efter ett tag fundera på om Googles algoritmer misstagit hans vårdbegäran för sin son med barnpornografi – och så var också fallet.

Google kontaktade också polisen i San Francisco som började utreda familjen och gick igenom deras datorer och telefoner innan de kom fram till att något brott inte begåtts. Internetjätten vägrade dock att ge sig och Mark var fortsatt utestängd från Gmail och Google Calendar som han använde i sitt arbete– trots att han inte gjort något fel. Allting han sparat på molntjänsten Google Cloud var också borta och han tvingades även skaffa nytt telefonabonnemang och operatör eftersom dessa var kopplade till tjänsten Google FI och också stängdes av.

– Jag visste att de här företagen övervakar dig och att integriteten inte är vad vi hoppades att den skulle vara, berättar han och tillägger att han inte gjort något som helst fel.

Han berättar vidare hur han försökte överklaga Googles beslut – bara för att få beskedet att han inte får tillbaka sina konton. Dessa kommer att förbli låsta, trots att polis konstaterat att något lagbrott aldrig skett.

Mark är heller inte den enda Google-användare som råkat illa ut. Jon Callas, libertarian och aktiv i intresseorganisationen the Electronic Frontier Foundation, som vill minska techjättarnas makt, tror att det kan finnas upp till tusentals liknande fall, men att på grund av ärendenas känsliga natur så vågar få berätta om sina erfarenheter.

Cassio, en pappa från Houston var med om nästan samma sak efter att han tagit bilder på sitt barns könsorgan för att skicka till en läkare för medicinsk rådgivning. Plötsligt noterade han hur hans konton stängts av och hur han inte längre kunde använda sin e-post.

Polisen utredde även denna incident och kom fram till att han inte begått något brott. Trots det förblir hans Google-konton avstängda – och detta trots att han betalar för att använda vissa av tjänsterna.

I båda fallen tycks Google enbart ha använt ett AI-verktyg för att ”identifiera” påstådd barnpornografi och sedan anmält användarna till polis och stängt av dem utan att någon människa överhuvudtaget tittat på materialet.

RT skriver att Googles standardprocess i denna typ av fall är att stänga ner kontot automatiskt, scanna det efter alla andra bilder och automatiskt kontakta polis och organisationer som arbetar med försvunna barn. De bilder som av AI:n felaktigt klassas som barnpornografi läggs också till i en databas över utnyttjade barn.

Internetjätten vill heller inte be om ursäkt eller ens kommentera den felaktiga avstängningen utan hävdar bara svepande att barnpornografi är fruktansvärt och att man gör allt för att förhindra spridningen av denna.