TikToks algoritmsystem kan göra att videor om depression och självmord syns mer i flödet hos unga, vilket kan förvärra psykiska problem, visar två nya rapporter från Amnesty International. Vidare visar även uppgifter i rapporterna att plattformen samlar in detaljerade personuppgifter av unga användare för att sedan skräddarsy innehåll och annonser.
TikToks flöde, som kallas ”For you”, har obegränsat med algoritmiskt rekommenderat innehåll, som valts ut för att återspegla vad systemet kommit fram till att en användares intressen är. I rapporten, Driven into the Darkness: How TikTok Encourages Self-harm and Suicidal Ideation, har forskare använt över 30 automatiserade konton designade för att efterlikna 13-åriga användare från Kenya och USA för att analysera TikToks rekommendationssystem och dess inverkan på unga. Dessutom genomfördes en manuell simulering med ett användarkonto från länderna Kenya, Filippinerna och USA för att ytterligare studera systemets effekter.
Psykisk ohälsa romantiseras
Efter fem till sex timmars aktivitet på plattformen upptäckte forskarna att nästan varannan video i användarnas ”For You”-flöde handlade om ämnen som rör mental ohälsa, varav vissa var videor som Amnesty bedömer kan vara potentiellt skadliga för unga. Sådana filmer kan exempelvis avhandla ämnen som självmord eller självskadebeteende där man romantiserar psykisk ohälsa, vilket man menar kan påverka de som exempelvis redan mår dåligt.
– Vi ser att utsatta barn och ungdomar väldigt snabbt leds ner i ett kaninhål av innehåll som kan vara skadligt för dem, säger Ingrid Stolpestad, politisk rådgivare vid Amnesty International Norway, till norska statskanalen NRK.
De konton som hade visat intresse för psykisk hälsa exponerades för upp till tio gånger fler sådana videor jämfört med andra konton. Vid manuell granskning av innehållet fann forskarna att mer än hälften av de rekommenderade videorna efter bara tre till tjugo minuters visning av innehåll om psykisk ohälsa kunde klassas som relaterade till ämnet.
Riktad marknadsföring till barn
I den andra rapporten, I Feel Exposed: Caught in TikTok’s Surveillance Web, framgår det att TikTok designar sin app för att få användarna att stanna kvar längre. Det gör de genom att samla in detaljerad information om användarnas beteenden. Denna information används för att bygga upp detaljerade profiler av användarna och dela in dem i grupper, vilket gör att TikTok kan visa innehåll och annonser som är skräddarsydda för varje användare. Annonsörer får också tillgång till dessa grupper med barn och unga för att kunna rikta sina annonser mer exakt
Oro i Norge
Den norska datainspektionen är oroad över det innehåll barn och unga utsätts för på TikTok, där man bland annat pekar på att skadligt innehåll redan tidigare fått allvarliga konsekvenser för barn. Plattformen har också tidigare fått böta 345 miljoner euro för att ha brutit mot dataskyddsbestämmelser om behandling av barns personuppgifter.
”År 2021 dog en tioårig italiensk flicka efter att ha provat en viral utmaning som hon sett i appen. Den italienska dataskyddsmyndigheten beordrade därefter TikTok att blockera användarkonton vars ålder inte kunde verifieras”, skriver Trine Smedbold, seniorrådgivare vid Datatilsynet, i ett mejl till NRK.
Smedbold påpekar dock också att det finns lagstiftning inom EU som gör att användare mellan 13 och 17 år inte längre ska utsättas för personlig marknadsföring.
”Det kommer också att vara möjligt att stänga av personalisering av ”For you”-sidan”, skriver hon.
Däremot kunde man också se att TikTok infört policyer som skiljer sig från region till region, beroende på landets eller områdets gällande lagar. Det innebär att barn och unga kan vara mer utsatta i vissa delar av världen där lagstiftningen är sämre kring barns personuppgifter.
”TikTok måste respektera rättigheterna för alla sina yngre användare, inte bara de i Europa, genom att förbjuda all riktad reklam till personer under 18 år globalt”, står i rapporterna.
”Sluta spåra människor”
Amnesty anser att det bästa sättet att skydda barn från missbruk av deras personuppgifter online är att alla regeringar genom lag förbjuder all riktad reklam som baseras på invasiv insamling av personuppgifter. Vidare måste TikTok ta de nödvändiga steg som behövs för att skydda unga användare.
– De måste ändra hur ”For you”-flödet fungerar. De måste sluta spåra unga människor för att förse dem med hyperpersonaliserat innehåll hela tiden, säger Stolpestad.
TikTok svarade på kritiken genom att peka på sina användarregler som förbjuder farligt innehåll, inklusive sådant som handlar om självmord och självskada. Företaget meddelade också att de arbetar på en process för att bättre skydda mänskliga rättigheter, men gav inga detaljer om hur detta skydd ser ut för unga användare. TikToks brist på en sådan process kan dock ses som ett brott mot mänskliga rättigheter, menar Amensty.
– Jag måste tro att TikTok vill verka på ett sätt som gör deras plattform till en bra plats för unga människor, inte en potentiellt dålig plats, säger Stolpestad.
Rapporterna gjordes med hjälp av Algorithmic Transparency Institute (ATI) och organisationen AI Forensics.
