V letu 2022 je bil Cai, takrat star 16 let, eden izmed mnogih mladostnikov, ki so vsakodnevno uporabljali družbena omrežja. Sprva so se mu na telefonu prikazovali nedolžni videoposnetki, kot na primer posnetki ljubkih psov, vendar so se kmalu začele pojavljati bolj moteče vsebine. Med brskanjem po družbenih omrežjih je nenadoma naletel na videoposnetke nasilnih pretepov, prometnih nesreč in monologe vplivnežev z mizoginimi stališči. Cai se je spraševal: "Zakaj ravno jaz?" Medtem je v Dublinu Andrew Kaung, nekdanji analitik za varnost uporabnikov pri TikToku, raziskoval, kakšne vsebine algoritmi priporočajo mladim uporabnikom v Združenem kraljestvu, vključno z najstniki, kot je Cai. Od decembra 2020 do junija 2022 je spremljal priporočila TikTokovih algoritmov in ugotovil, da so ti nekaterim 16-letnim fantom prikazovali nasilne in spolno eksplicitne vsebine ter vsebine, ki so spodbujale mizoginijo. Opazil je tudi, da so bile dekletom priporočene bolj nevtralne teme, kot so glasba ali ličenje.
ALGORITMI DRUŽBENIH MEDIJEV: Zakaj fantom prikazujejo nasilje?
Svet
Mizoginija je oblika predsodka ali pristranskosti, ki temelji na spolu in vključuje negativne stereotipe, sovražni govor, poniževalne pripombe, pa tudi sistematične prakse, ki omejujejo ali škodujejo ženskam. Mizogina stališča lahko izvirajo iz kulturnih, zgodovinskih, verskih ali družbenih norm, ki podpirajo neenakost med spoloma in ohranjajo patriarhalne strukture moči, kjer so moški v dominantnem položaju. Mizoginija se lahko kaže na številne načine, od subtilnih mikroagresij do odkritega nasilja in izključevanja žensk iz različnih področij javnega in zasebnega življenja.
Kako algoritmi oblikujejo izkušnje uporabnikov?
Algoritmi družbenih omrežij, kot so TikTok, Instagram in Facebook, uporabljajo umetno inteligenco (angl. Artificial intelligence, kratica AI) za odstranjevanje večine škodljivih vsebin in označevanje drugih vsebin za pregled moderatorjev. Kljub temu pa AI orodja ne morejo zaznati vsega, kar je problematično. Andrew Kaung je opozoril, da so bile vsebine ročno pregledane šele, ko so dosegle določeno število ogledov (npr. 10.000 ogledov). To pomeni, da so bili mlajši uporabniki izpostavljeni škodljivim videoposnetkom, preden so bili ti odstranjeni. Pri Meti, podjetju, ki upravlja Instagram in Facebook, je Kaung opazil drugačno težavo. Tam so se zanašali na uporabnike, da prijavijo neprimerne vsebine šele po tem, ko so jih že videli. Kaung je izražal zaskrbljenost nad takšnim pristopom pri obeh podjetjih, vendar so bila njegova opozorila pogosto prezrta, saj so se podjetja bala dodatnega dela in stroškov. Kljub nekaterim izboljšavam, so bila tveganja za mlade, kot je Cai, še vedno prisotna.
Nevarnosti algoritmov
Algoritmi družbenih omrežij so zasnovani tako, da maksimizirajo angažiranost uporabnikov, kar pomeni, da si prizadevajo ohraniti uporabnike na platformi čim dlje. To dosegajo s prikazovanjem vsebin, ki pritegnejo pozornost, ne glede na to, ali so te vsebine pozitivne ali negativne. Cai je, kljub temu da je večkrat skušal prilagoditi algoritme z označevanjem neželenih vsebin, še vedno prejemal nasilne in mizogine videoposnetke. Razlog za to je, da algoritmi temeljijo na angažiranosti, kar pomeni, da bodo prikazali vsebine, ki bodo uporabnike najbolj pritegnile – tudi če te vsebine vsebujejo nasilje ali sovražni govor, piše BBC.
Zakaj se to dogaja?
Po besedah Andrewa Kaunga so algoritmi zasnovani tako, da se učijo s pomočjo "učenja s krepitvijo" (reinforcement learning), kar pomeni, da se učijo na podlagi preteklih izkušenj in napak. Algoritmi so programirani, da povečajo čas, ki ga uporabniki preživijo na platformi, tako da jim prikazujejo videoposnetke, za katere pričakujejo, da jih bodo uporabniki gledali dlje, komentirali ali všečkali. To pojasnjuje, zakaj Cai še vedno vidi neželene vsebine, kljub njegovim prizadevanjem, da bi jih omejil. Poleg tega se algoritmi družbenih omrežij pogosto zanašajo na interese uporabnikov, ki jih ti navedejo ob registraciji. Kaung je opazil, da so vsebine, ki jih algoritmi priporočajo mladim uporabnikom, pogosto razdeljene glede na spolne preference: fantje, ki izrazijo zanimanje za borilne veščine ali nasilne igre, lahko hitro naletijo na bolj ekstremne vsebine.
Kako naprej?
Cai meni, da prepoved uporabe pametnih telefonov ali družbenih omrežij za najstnike ni rešitev. Njegov telefon je pomemben del njegovega vsakdanjega življenja – z njim komunicira s prijatelji, se orientira v prostoru in plačuje. Namesto tega poziva družbena omrežja, da prisluhnejo uporabnikom in izboljšajo orodja za nadzor vsebin, ki jih ti ne želijo videti. V Združenem kraljestvu bo nov zakon od leta 2025 naprej zahteval, da socialna omrežja preverjajo starost uporabnikov in preprečijo priporočanje pornografskih ali drugih škodljivih vsebin mladim. UK regulator Ofcom bo odgovoren za uveljavitev teh pravil.