Keď si predstavíme, akú silu majú sociálne siete nad verejnou mienkou, väčšina ľudí si predstaví konkrétny škodlivý zámer – korporáciu, ktorá sa rozhodla šíriť dezinformácie alebo podnecovať nenávisť. Realita, ktorú v posledných rokoch odkryli akademický výskum, interné dokumenty aj medzinárodné vyšetrovania, je nepríjemnejšia: Facebook, YouTube ani ďalšie platformy sa vedome nerozhodli zaplaviť svet falošnými správami a rozhorčením. Presne to isté však dosiahli tým, že svojim algoritmom jednoducho nariadili jedno – maximalizovať zapojenie používateľov. Nasledujúca analýza sleduje tento mechanizmus od jeho ekonomických koreňov cez konkrétne zdokumentované katastrofy až po súčasné pokusy o reguláciu.
- Obchodný model, ktorý si vyžaduje rozhorčenie
- Vedecký dôkaz: lži sa šíria rýchlejšie než pravda
- Mjanmarsko: keď sa teória stala tragédiou
- Facebook Files: keď sa dôkazy dostali na verejnosť
- YouTube a radikalizácia: menej jednoznačný prípad, než sa zdá
- Od ľudského zlyhania k systémovému riziku
- Regulačná odpoveď: Európa skúša zmeniť pravidlá hry
- Prečo na rozlíšení medzi dôkazom a domnienkou záleží
Obchodný model, ktorý si vyžaduje rozhorčenie
Koreň problému opisuje harvardská profesorka Shoshana Zuboffová pojmom „surveillance capitalism“ – ekonomický model, v ktorom firmy berú ľudskú skúsenosť ako voľný surovinový materiál, ktorý sa po spracovaní stáva takzvaným „behaviorálnym nadbytkom“. Len časť tohto nadbytku firmy použijú na zlepšenie vlastného produktu; zvyšok sa stáva majetkom, ktorý sa spracúva do predikčných produktov predávaných na takzvaných trhoch s budúcim správaním. Podľa Zuboffovej logika konkurencie medzi firmami ako Google a Facebook vytvára neustály tlak získavať čoraz presnejšie prediktívne dáta o používateľoch a keďže najistejším spôsobom, ako správanie predpovedať, je priamo ho formovať, surveillance kapitalizmus sa podľa nej nevyhnutne posúva od pozorovania k aktívnej modifikácii správania. Zuboffová v knihe upozorňuje, že tieto metódy museli od začiatku zostať nepostrehnuteľné, celá logika odvetvia tak podľa nej odráža sociálne vzťahy jednosmerného zrkadla, v ktorom platforma vidí používateľa dôkladne, zatiaľ čo používateľ vidí len zlomok toho, čo sa s jeho dátami deje.
V praxi to znamená, že algoritmy sociálnych sietí sa učia metódou pokus-omyl na miliónoch ľudí súčasne, čo presne udrží ich pozornosť. Výskumníci v YouTube si už okolo roku 2012 všimli, že zhruba 100 miliónov hodín sledovaného video obsahu denne vedeniu nestačilo a stanovili si ambiciózny cieľ – jednu miliardu hodín denne do roku 2016. Algoritmy pri tejto optimalizácii objavili rovnaký vzorec, aký sa neskôr potvrdil aj na Facebooku: rozhorčenie zvyšuje zapojenie používateľov, zatiaľ čo umiernený obsah ho nezvyšuje. Cieľ sa napokon splnil presne do roku 2016 používatelia skutočne sledovali YouTube miliardu hodín denne, pričom tvorcovia obsahu si rýchlo všimli, že práve šokujúce videá plné klamstiev algoritmus odmeňuje najštedrejšie.
Vedecký dôkaz: lži sa šíria rýchlejšie než pravda
Tento mechanizmus nie je len interpretáciou kritikov technologických firiem – potvrdzuje ho aj nezávislý akademický výskum. Najrozsiahlejšia doterajšia longitudinálna štúdia šírenia informácií online, ktorú v roku 2018 publikoval tím Soroush Vosoughiho, Deba Roya a Sinana Arala z MIT v časopise Science, analyzovala 126-tisíc overených správ zdieľaných na Twitteri vyše 3 miliónmi používateľov v rokoch 2006 až 2017. Výsledok bol jednoznačný: falošné správy sa na Twitteri šíria výrazne ďalej, rýchlejšie, hlbšie a do širšieho okruhu ľudí než pravdivé informácie, a to vo všetkých kategóriách obsahu. Falošné správy mali o 70 percent vyššiu šancu, že budú retweetované, než pravdivé správy, a k prvým 1 500 ľuďom sa dostali približne šesťkrát rýchlejšie, pričom na dosiahnutie reťazovej hĺbky retweetov 10 potrebovali falošné správy približne dvadsaťkrát menej času než pravdivé.
Zaujímavé
Kľúčovým zistením štúdie bolo, že za týmto javom nestoja boti. Keď výskumníci z dátovej sady odstránili všetky automatizované účty, rozdiel medzi šírením pravdy a lži zostal prakticky nezmenený – teda falošné správy sa šíria rýchlejšie, pretože ich šíria samotní ľudia, nie stroje. Podľa autorov to súvisí s takzvanou hypotézou novosti: falošné správy pôsobili ako novšie a neočakávanejšie než pravda, a ľudia majú prirodzenú tendenciu zdieľať práve to, čo vyvoláva prekvapenie alebo silnú emočnú reakciu. Efekt bol pritom najvýraznejší práve pri politických správach oveľa výraznejší než pri témach ako prírodné katastrofy, veda alebo financie.
Mjanmarsko: keď sa teória stala tragédiou
Najzávažnejším zdokumentovaným prípadom dôsledkov tohto mechanizmu je Mjanmarsko. Facebook sa tam stal natoľko dominantným zdrojom informácií, že sa pre mnohých používateľov prakticky stotožnil s internetom samotným, nízkokvalitný obsah tak dokázal vytlačiť všetky ostatné informačné zdroje v krajine. Vyšetrovanie agentúry Reuters zdokumentovalo, že ešte aj po verejných prísľuboch nápravy zostávalo na platforme aktívnych vyše tisíc príspevkov priamo vyzývajúcich na vraždenie alebo genocídu Rohingov, pričom moderovanie obsahu v barmskom jazyku firma dlho prakticky nemala prvých dvoch barmsky hovoriacich moderátorov najala až v roku 2015 a väčšinu monitorovania neskôr outsourcovala externej firme v rámci operácie s krycím názvom Project Honey Badger.
Nezávislé vyšetrovanie OSN v roku 2018 dospelo k záveru, že Facebook zohral pri šírení nenávisti voči Rohingom „určujúcu úlohu“, pričom predstaviteľka OSN pre ľudské práva Jang Hi Leeová vtedy vyjadrila obavu, že sa platforma „zmenila na beštiu“. Neskoršia analýza organizácie Amnesty International z roku 2022, postavená na preskúmaní interných dokumentov firmy, zašla ešte ďalej podľa nej algoritmus Facebooku nenávistný obsah proti Rohingom nielen neodstraňoval, ale aktívne ho zosilňoval a propagoval. Organizácia zdokumentovala konkrétny prípad z roku 2020, keď video nenávistného budhistického mnícha U Wirathua, ktorého profil Facebook kvôli šíreniu nenávisti zablokoval ešte v roku 2018, napriek tomu dosiahlo 70 percent svojich zhliadnutí práve prostredníctvom automatického prehrávania odporúčaných videí, ktoré nasledujú po skončení predchádzajúceho. Interný dokument spoločnosti z júla 2019, citovaný v tejto správe, priznával, že firma v tom čase skutočne zasiahla len proti približne dvom percentám nenávistného obsahu na platforme. Facebook čelí v súvislosti s udalosťami v Mjanmarsku aj žalobe rohingijských utečencov na sumu 150 miliónov dolárov, podanej v San Franciscu, a vyšetrovaniu Medzinárodného trestného súdu.
Facebook Files: keď sa dôkazy dostali na verejnosť
Mechanizmus, ktorý predtým zostával predmetom vonkajšej analýzy, v roku 2021 potvrdili aj interné dokumenty samotnej firmy. Bývalá produktová manažérka Facebooku Frances Haugenová vyniesla z firmy približne 22-tisíc strán interného výskumu a odovzdala ich americkému Kongresu aj Komisii pre cenné papiere. Dokumenty, na ktorých stavala séria článkov Wall Street Journal nazvaná Facebook Files, podľa Haugenovej preukázali, že firma roky disponovala vlastným výskumom o škodlivosti svojich produktov, tento výskum pred verejnosťou zatajovala a napriek jeho záverom uprednostňovala rast zapojenia pred znížením škôd.
Zaujímavé
Pri svedectve pred americkým Senátom v októbri 2021 Haugenová uviedla, že produkty Facebooku podľa jej presvedčenia poškodzujú deti, prehlbujú rozdelenie spoločnosti a oslabujú demokraciu. Podľa jej slov patrí medzi najnebezpečnejšie vlastnosti rebríčka obsahu založeného na zapojení to, že je oveľa jednoduchšie u ľudí vyvolať nenávisť než súcit alebo empatiu. Haugenová tiež upozornila, že jej obavy prehĺbila najmä práca na dezinformáciách v krajinách mimo USA v miestach, ako India či Etiópia, kde si mnohí ľudia pripájajúci sa na internet po prvýkrát ani neuvedomovali, že niečo, čo si prečítali online, môže byť zavádzajúce alebo nepravdivé.
Súčasťou uniknutých dokumentov bol aj interný výskum s názvom Teen Mental Health Deep Dive, ktorý skúmal vplyv Instagramu na dospievajúcich. Podľa internej prezentácie z marca 2020 firma zistila, že 32 percent dospievajúcich dievčat uviedlo, že keď sa už cítili zle kvôli svojmu telu, Instagram tento pocit ešte zhoršil, pričom jedna zo slajdov zhrnula zistenie priamo: „zhoršujeme problémy s telesným obrazom pre jedno z troch dospievajúcich dievčat“. Výskum tiež naznačoval súvislosť medzi používaním platformy a nárastom úzkosti, depresie, a dokonca aj samovražedných myšlienok — podľa reportáží Wall Street Journal 13 percent britských a 6 percent amerických dospievajúcich, ktorí uviedli túžbu ukončiť si život, túto myšlienku spájalo priamo s Instagramom.
Facebook po zverejnení dokumentov časť vlastného výskumu zverejnil s poznámkami spochybňujúcimi interpretáciu Wall Street Journal. Firma tvrdila, že pri 11 z 12 sledovaných ukazovateľov duševnej pohody dospievajúce dievčatá, ktoré s danými problémami zápasili, v skutočnosti častejšie uvádzali, že im Instagram pomáha, než že im škodí, a že jediná výnimka problém s telesným obrazom sa týkala len tej podskupiny dievčat, ktoré už problém s telesným obrazom mali, nie všetkých dospievajúcich dievčat ako takých. Tento spor sám osebe ilustruje jadro problému: aj keď časť čísel zostáva predmetom interpretácie, samotná existencia interného výskumu, ktorý firma pred verejnosťou roky nezverejnila, zostáva nespochybnená.
YouTube a radikalizácia: menej jednoznačný prípad, než sa zdá
Nie všetky časti populárneho rozprávania o škodlivosti algoritmov však obstoja v akademickom výskume rovnako jednoznačne ako prípad Mjanmarska. Predstava, že odporúčací algoritmus YouTube systematicky tlačí používateľov do takzvaného „králičieho dúpäťa“ čoraz extrémnejšieho obsahu, sa opiera skôr o novinárske a anekdotické svedectvá než o jednoznačný vedecký konsenzus. Rozsiahla štúdia tímu Manoela Horty Ribeira, publikovaná na konferencii ACM FAccT v roku 2020, analyzovala vyše 330-tisíc videí zo 349 kanálov a 72 miliónov komentárov a zistila, že používatelia sa v priebehu času skutočne presúvajú od umiernenejšieho k extrémnejšiemu obsahu, veľká časť divákov krajne pravicových kanálov predtým komentovala aj na mierne kontroverzných kanáloch. Samotný odporúčací algoritmus však podľa tej istej štúdie smeroval k najextrémnejším kanálom len zriedkavo k nájdeniu krajne pravicového kanála z mierne kontroverzného obsahu viedla náhodná prechádzka odporúčaniami len raz z dvetisíc pokusov.
Iná rozsiahla štúdia, ktorú v roku 2023 publikoval tím na stránkach PNAS s využitím 100-tisíc automatizovaných testovacích profilov, dospela k zmiešanému záveru: algoritmus YouTube síce odporúča ideologicky príbuzný obsah používateľom s vyhraneným politickým názorom, a u pravicovo orientovaných používateľov sa táto príbuznosť s hĺbkou odporúčaní dokonca zosilňuje, no dôkazy o jednoznačných „bublinách“ a „králičích dúpätách“ vedúcich k radikalizácii zostávajú podľa autorov nejednoznačné. Časť výskumníkov preto dnes zastáva názor, že radikalizácia na YouTube je skôr výsledkom súhry ponuky a dopytu teda existencie publika, ktoré si extrémny obsah samo vyhľadáva a odoberá než priameho, mechanického tlaku samotného algoritmu. Tento rozdiel je dôležitý: ukazuje, že nie každé tvrdenie o škodlivosti algoritmov je rovnako podložené, a seriózna analýza musí rozlišovať medzi prípadmi s jasným dôkazovým základom, akým je Mjanmarsko, a prípadmi, kde zostáva vedecký spor otvorený.
Od ľudského zlyhania k systémovému riziku
Dôležité je rozlišovať medzi tým, čo tvrdia prevádzkovatelia platforiem, a tým, čo ukazuje nezávislý výskum. Vedenie firiem ako Facebook alebo YouTube sa svoju zodpovednosť opakovane snaží zmierniť poukazovaním na „ľudskú prirodzenosť“ teda tvrdením, že za šírenie nenávisti a lží na platformách môže v konečnom dôsledku samotná ľudská povaha, nie konkrétny dizajn produktu. Výskum však ukazuje, že ide o príliš zjednodušený obraz. Algoritmy neboli navrhnuté tak, aby šírili nenávisť ako zámer samy osebe boli navrhnuté tak, aby maximalizovali zapojenie, a nenávisť a rozhorčenie sa ukázali ako mimoriadne účinný prostriedok na dosiahnutie tohto cieľa.
Rozdiel medzi zámerom a dôsledkom je však pre postihnutých ľudí irelevantný. Mechanizmus, pri ktorom algoritmus bez priameho ľudského rozhodnutia systematicky zvýhodňuje najrozhorčenejší a najpolarizujúcejší obsah, v dôsledku vytvára podmienky, v akých sa darí extrémizmu, dezinformáciám a v krajnom prípade aj etnickému násiliu. Práve preto sa dnes čoraz viac odborníkov zhoduje, že problémom nie je jednotlivé zlyhanie moderácie na tej či onej platforme, ale samotná obchodná logika, ktorá odmeňuje angažovanosť bez ohľadu na to, akým spôsobom bola dosiahnutá.
Regulačná odpoveď: Európa skúša zmeniť pravidlá hry
Práve táto systémová povaha problému priviedla Európsku úniu k prijatiu Aktu o digitálnych službách (DSA), ktorý vstúpil do platnosti v novembri 2022 a od roku 2024 sa plne vzťahuje na takzvané veľmi veľké online platformy teda tie s viac než 45 miliónmi aktívnych používateľov v EÚ mesačne. Zákon po prvý raz právne zaväzuje platformy každoročne systematicky identifikovať a vyhodnocovať takzvané systémové riziká vyplývajúce z dizajnu ich algoritmických systémov vrátane odporúčacích algoritmov, pričom dokumentáciu k týmto hodnoteniam musia uchovávať najmenej tri roky a na požiadanie ju sprístupniť regulátorom. Súčasťou povinností je aj povinná nezávislá audítorská kontrola a sprístupnenie dát overeným externým výskumníkom, aby mohli systémové riziká posudzovať nezávisle od samotných firiem.
Koncom roka 2024 publikovalo podľa týchto pravidiel prvé hodnotenia systémových rizík devätnásť platforiem vrátane Facebooku, Instagramu aj YouTube. Podľa analýzy Georgetownského inštitútu pre poznanie tento prvý kolo správ ukazuje reálny potenciál zvýšiť transparentnosť a zodpovednosť platforiem, no zároveň mu chýba hĺbka správy často neposkytujú dostatočne konkrétne metodológie na meranie rizika ani jasné štandardy úspešnosti prijatých opatrení. Európska komisia si napriek tomu udržiava priamy nástroj nátlaku: v januári 2024 rozoslala sedemnástim platformám formálne žiadosti o informácie práve v súvislosti s ich povinnosťou sprístupniť dáta výskumníkom skúmajúcim systémové riziká, čo naznačuje, že vynucovanie nových pravidiel bude dlhodobým a priebežným procesom, nie jednorazovým aktom.
Prečo na rozlíšení medzi dôkazom a domnienkou záleží
Súhrn dostupných dôkazov ukazuje obraz, ktorý je zložitejší než jednoduché tvrdenie „algoritmy sú zlé“. Na jednej strane existujú prípady s mimoriadne silným dôkazovým základom šírenie dezinformácií rýchlejšie než pravdy potvrdené najrozsiahlejšou doterajšou štúdiou v Science, zdokumentovaná úloha Facebooku pri eskalácii násilia v Mjanmarsku potvrdená nezávisle OSN, Reuters aj Amnesty International, a napokon aj priznania samotnej firmy v jej vlastnom internom výskume o vplyve na dospievajúce dievčatá. Na druhej strane existujú tvrdenia, pri ktorých zostáva vedecký konsenzus otvorenejší, ako napríklad presný mechanizmus a rozsah radikalizácie na YouTube.
Toto rozlíšenie nie je len akademická drobnosť má priamy dosah na to, aké riešenia dávajú zmysel. Ak je problémom predovšetkým obchodný model odmeňujúci zapojenie bez ohľadu na spôsob jeho dosiahnutia, ako to opisuje Zuboffová, potom čiastkové zásahy proti jednotlivým typom škodlivého obsahu môžu zmierniť symptómy, no nevyriešia príčinu. Práve preto sa ťažisko regulačnej debaty v Európe presúva od jednotlivých kúskov obsahu smerom k samotnému dizajnu a transparentnosti algoritmických systémov teda k otázke, akým spôsobom si platformy vyberajú, čo milióny ľudí denne vidia, a kto má právo tento proces kontrolovať.
