Tre säkerhetsforskare som undersökte programvaran bakom Discords planerade ålderskontroll upptäckte en oskyddad server med ansiktsigenkänning, finansiell rapportering och direktkoppling till amerikanska myndigheter. Discord har meddelat att man inte kommer att använda tjänsten.
Nyligen meddelade chattappen Discord att alla nya och befintliga användare globalt skulle få åldersanpassade inställningar. Det innebar att användare måste låta Discord skanna deras ansikten för att kunna använda plattformen som tidigare.
Säkerhetsforskaren Celeste, som använder pseudonymen vmfunc, var övertygad om att det skulle finnas sätt att kringgå systemet. Tillsammans med två andra forskare började hon undersöka Persona – det San Francisco-baserade företag som Discord skulle använda för att kontrollera användares identitet.
Det de hittade var något helt annat: en oskyddad server med 2 456 öppet tillgängliga filer som avslöjade omfattningen av Personas övervakning, rapporterar nyhetssajten The Rage.
Från ålderskontroll till massövervakning
Persona Identity är ett företag backat av techmogulen Peter Thiel, känd som medgrundare av PayPal och grundare av övervakningsföretaget Palantir Technologies. Persona värderas till 2 miljarder dollar och används av bland andra OpenAI, Roblox och elsparkcykelföretaget Lime.
Men bortom enkel åldersverifiering visade den läckta koden att Persona gör mycket mer. Programmet jämför användares selfies mot bevakningslistor, letar efter kopplingar till terrorism och spionage i medierapportering, och märker rapporter med kodnamn från aktiva underrättelseprogram.
När en användare verifierar sin identitet med Persona utför programvaran 269 olika kontroller. Den genomsöker internet och myndighetskällor efter potentiella matchningar. Användarens IP-adress, telefonnummer, namn, ansikte och till och med bakgrunden i selfies analyseras och sparas i upp till tre år.
Programvaran flaggar användare som "misstänkta" baserat enbart på deras ansikten, skriver forskarna. Detta kan vara farligt, särskilt som Personas programvara enligt uppgift har gjort stora misstag när den försökt uppskatta användares ålder tidigare.
Koppling till amerikanska myndigheter
Från den läckta koden, som nu tagits bort, hittade forskarna också en parallell version av systemet kallad "withpersona-gov.com". Den är godkänd av amerikanska federala myndigheter för att hantera känslig information.
Koden visar att systemet kan utföra finansiella kontroller, inklusive kontroller mot sanktionslistor och kryptovaluta-aktivitet. Det finns också ett gränssnitt för att rapportera misstänkt aktivitet direkt till amerikanska och kanadensiska myndigheter.
Den exponerade domänen "openai-watchlistdb.withpersona.com" tyder på att OpenAI skapat en intern databas för Persona-kontroller som omfattar alla OpenAI-användare.
"De använde snabbt denna möjlighet för att gå från att jämföra användare mot en enskild federal bevakningslista, till att själva skapa bevakningslistan över alla användare", skriver forskarna.
"Gör internet mindre säkert"
Forskarna pekar också på möjliga kopplingar till Fivecast ONYX, en AI-driven övervakningsplattform som amerikanska gränsmyndigheten ICE köpte för 4,2 miljoner dollar 2023 – samma år som Personas nu läckta tjänst började användas.
— Du gör internet mindre säkert, inte säkrare, säger Celeste till The Rage.
Forskarna förklarar att vanliga användare inte kommer att kunna kringgå dessa system, medan kriminella alltid kommer att hitta sätt att utnyttja dem.
— Staten vill se allt. Företagen vill se allt. Och de har lärt sig att samarbeta, säger Celeste.
På måndagen meddelade Discord att man inte kommer att gå vidare med Persona för identitetsverifiering, men gav ingen förklaring till beslutet.
