Miljonbelopp läggs på att bekämpa rasistiska myndighetsbotar

Vänsteraktivister i USA har sedan länge varnat för att myndigheters AI-system och botar snabbt började uttrycka sig “rasistiskt” och “sexistiskt”. Nu vill Jämställdhetsmyndigheten i Sverige att även svenska myndigheters AI-system kartläggs så att det säkerställs att robotarna är toleranta och har rätt värdegrund.

Artificiell intelligens använd allt oftare även på svenska myndigheters hemsidor för att ge internetbesökare hjälp via automatiserade svar. Nu ska Jämställdhetsmyndigheten utreda så att myndigheternas AI-funktioner inte diskriminerar besökarna utan behandlar alla besökare likvärdigt och ”jämställt”.

Utredningen genomförts tillsammans med företaget AI Sustainability Center och pilotstudien förväntas vara klar inom ett år och kosta omkring 1,6 miljoner kronor. Man oroar sig bland annat för att botarna som svarar på användarnas frågor riskerar att behandla användarna rasistiskt eller sexistiskt.

– Det här är ett pilotprojekt som handlar om riskerna för jämställdhetsproblem då statliga myndigheter använder artificiell intelligens, som Skatteverket och Försäkringskassan. I USA har man uppmärksammat att botar som skulle svara på frågor snabbt blev väldigt rasistiska och sexistiska, säger Lena Ag, generaldirektör för Jämställdhetsmyndigheten till Ny Teknik.

Botarna lär sig av den data de samlar in och deras svar och beteende påverkas av denna. Skatteverket och Försäkringskassan oroar sig för att den artificiella intelligensen också för in människors ”fördomar” i sina beslutsunderlag och helt enkelt börjar agera mer rasistiskt.

I den skattefinansierade studien ska datan som förs in till botarna därför analyseras ”utifrån ett jämställdhetsperspektiv” och man hoppas på att kunna göra AI-systemet fördomsfritt och tolerant.

– Att algoritmer lär sig på historiska data riskerar att backa jämställdhetsarbetet. Det får inte hända, säger Anna Felländer, grundare av AI Sustainability Center, som ska göra studien tillsammans med Jämställdhetsmyndigheten.

Pilotstudien ska vara klar om ett år, och beräknas kosta 1,6 miljoner kronor. Därefter är syftet är att få fram en metod för att undvika att robotarna blir fulla av fördomar.

– Medborgarna ska kunna lita på att staten bemöter dem lika, säger Lena Ag.