Táto havajská košeľa má jedinú úlohu: zmiasť umelú inteligenciu

Niektorí aktivisti súkromie riešia radikálne, dohľadové kamery jednoducho odpília. Nemecký umelec a dizajnér Simon Weckert zvolil podstatne sofistikovanejší, hoci na pohľad možno ešte výstrednejší prístup. Navrhol havajskú košeľu, ktorá je zámerne taká vizuálne chaotická, že dokáže zmiasť systémy počítačového videnia a narušiť ich schopnosť rozpoznať človeka v obraze. Projekt s názvom Digital Camouflage vznikol ako reakcia na rastúce využívanie umelej inteligencie v kamerových dohľadových systémoch a podľa Weckerta má upozorniť na jednu nepríjemnú skutočnosť: človek môže byť pre stroj úplne zreteľný a zároveň algoritmicky „neviditeľný“.

AI sa nenaučila, čo je človek. Naučila sa, ako vyzerá

Práve tu sa dostávame k podstate celého experimentu. Moderný systém počítačového videnia nemá predstavu o človeku v rovnakom zmysle ako človek. Keď sa na ulici pozrieme na postavu v košeli, automaticky chápeme, že ide o jedinú fyzickú bytosť. Rozpoznáme obrys, končatiny, hlavu, pohyb a vzťahy medzi jednotlivými časťami. Neurónová sieť však pracuje s matematickou reprezentáciou obrazu. Počas tréningu sa učí štatistické charakteristiky, ktoré sa opakovane objavujú na obrázkoch ľudí.

To je zásadný rozdiel. Model nemusí „vedieť“, čo človek je. Potrebuje nájsť dostatočné množstvo vizuálnych znakov, ktoré sú podľa jeho naučených parametrov kompatibilné s kategóriou person. Práve túto vlastnosť Weckert využíva. Ako sám vysvetľuje, systémy AI sa nenaučili, čo je človek; naučili sa, ako človek štatisticky vyzerá na miliónoch tréningových snímok. Ak je potom obraz skonštruovaný tak, aby sa od týchto naučených štatistík odchýlil, model môže stratiť istotu.

To však neznamená, že košeľa človeka magicky „vymaže“ z kamery. Kamerový systém ho stále fyzicky zaznamenáva. Rozdiel je medzi záznamom obrazu a jeho automatickou interpretáciou. Kamera môže človeka natočiť úplne jasne, zatiaľ čo algoritmus nad týmto obrazom nemusí vytvoriť detekciu osoby. A práve tento rozdiel medzi tým, čo zaznamená optický senzor a tým, čo z obrazu vyhodnotí neurónová sieť, je jadrom celej myšlienky Digital Camouflage.

Ružová, oranžová a zelená proti detektoru

Weckertov návrh nefunguje vďaka jednej konkrétnej farbe ani jednému magickému symbolu. Rozhodujúca je kombinácia množstva tvarov, kontrastov a farebných prechodov. Autor opisuje zámer tak, že vzor má „narušiť kontinuitu obrysu tela“, takže detektor nedokáže jednotlivé časti postavy spojiť do jedného objektu. To je podstatne sofistikovanejší prístup než jednoducho „urobiť oblečenie škaredým“. Škaredosť je iba ľudské hodnotenie výsledku. Z technického hľadiska ide o štruktúru obrazových informácií navrhnutú tak, aby narušila rozhodovací proces modelu.

Výsledok je zvláštny práve preto, že rovnaký obraz funguje rozdielne pre človeka a algoritmus. Ľudský mozog dokáže vizuálny chaos interpretovať ako vzor na látke. Algoritmus sa naopak pokúša z obrovského množstva pixelov vytvoriť konkrétnu klasifikáciu. Ak sa mu nepodarí nájsť dostatočne presvedčivé vlastnosti, jeho predikcia môže klesnúť pod hranicu, pri ktorej už objekt označí ako osobu.

Weckert tento experiment dokumentoval s použitím generického open-source objektového detektora YOLO. To je dôležitý detail, ktorý sa pri mediálnom opise projektu ľahko stratí. Autor netvrdí, že jediná košeľa dokáže poraziť každý policajný alebo vojenský kamerový systém na svete. Naopak, priamo uvádza, že demonštrácia nepredstavuje konkrétny vládny systém a neslúži ako dôkaz univerzálnej ochrany pred dohľadom. Práve nemožnosť nezávisle testovať mnohé nasadené systémy je podľa neho súčasťou problému.

Toto už nie je iba umelecký experiment

Najzaujímavejšie na projekte je, že jeho princíp má oporu v serióznom výskume adversariálnych útokov na neurónové siete. Pojem adversarial example označuje vstup, ktorý je zámerne upravený tak, aby model urobil chybnú predikciu. V digitálnom prostredí môže ísť iba o veľmi malé zmeny obrazových dát. Problém sa však stáva oveľa zaujímavejším vtedy, keď sa adversariálny vzor prenesie do fyzického sveta.

Výskum Simena Thysa, Wiebeho Van Ransta a Toona Goedemého z KU Leuven ukázal, že adversariálne záplaty možno použiť na zníženie schopnosti detektora rozpoznať osobu dokonca aj v reálnych podmienkach. Ich práca z roku 2019 patrila medzi prvé štúdie, ktoré sa špecificky venovali útokom na detekciu ľudí, teda objektu s obrovskou vizuálnou variabilitou. Človek môže mať inú postavu, oblečenie, polohu tela či držanie tela, čo robí jeho algoritmické „zamaskovanie“ podstatne komplikovanejším než napríklad manipuláciu so stopkou.

O niekoľko mesiacov neskôr sa výskum posunul priamo k oblečeniu. Tím vedený Kaidim Xu publikoval prácu Adversarial T-shirt! Evading Person Detectors in a Physical World, v ktorej navrhol tričko schopné narúšať detekciu človeka aj napriek tomu, že látka sa pri pohybe deformuje. To je kľúčový problém fyzických adversariálnych útokov: výsledný objekt nie je dokonale plochý a nehybný. Krčí sa, ohýba, mení perspektívu a mení sa jeho osvetlenie. Autori preto experimentálne modelovali aj tieto deformácie. Proti detektoru YOLOv2 dosiahli pri svojom návrhu 74-percentnú úspešnosť v digitálnom prostredí a 57-percentnú úspešnosť vo fyzickom svete.

Tieto čísla treba chápať presne. Neznamenajú, že „57 percent ľudí sa stane neviditeľných“. Ide o attack success rate, teda mieru s akou vytvorený adversariálny objekt dosiahol definovaný cieľ proti konkrétnemu modelu a v konkrétnom experimentálnom nastavení. Pri inom modeli, inom osvetlení, inom uhle kamery alebo po aktualizácii detektora môže byť výsledok úplne odlišný. A práve táto podmienenosť je jedným z najdôležitejších faktov celej problematiky.

Oblečenie proti algoritmu má svojich predchodcov

Weckertov projekt navyše nadväzuje na viac než desaťročnú históriu takzvaného counter-surveillance fashion, teda oblečenia a vizuálneho štýlu navrhnutého s ohľadom na kamerové systémy. Najznámejším príkladom je projekt CV Dazzle, ktorý Adam Harvey vytvoril v roku 2010 ako svoju diplomovú prácu na New York University.

Harvey vtedy vychádzal zo staršej generácie algoritmov detekcie tváre a pomocou make-upu, vlasov a kontrastných geometrických vzorov sa snažil narušiť ich schopnosť nájsť typické časti tváre. Inšpiráciou mu bolo vojenské „dazzle“ maskovanie používané počas prvej svetovej vojny, ktorého cieľom nebolo objekt dokonale skryť, ale rozbiť jeho vizuálnu geometriu a sťažiť pozorovateľovi určenie jeho presnej polohy a orientácie.

Harveyho projekt zároveň ukazuje ďalší dôležitý aspekt tejto technológie. Neexistuje jeden univerzálny vzor, ktorý by fungoval proti všetkým algoritmom. Jeho pôvodné návrhy boli vytvorené proti systému Viola-Jones, ktorý bol v tom čase dominantnou technológiou detekcie tváre. S nástupom konvolučných neurónových sietí však pôvodné vzory prestali byť spoľahlivé. Harvey preto neskôr vytvoril nové návrhy určené pre modernejšie CNN systémy.

Tento detail je možno najlepšou ukážkou toho, že boj medzi človekom a algoritmom nebude jednorazovou bitkou. Bude to neustály technologický cyklus. Keď výskumníci nájdu slabinu modelu, vývojári môžu systém upraviť. Keď nový model odstráni starú slabinu, vznikne priestor pre nové adversariálne techniky.

A potom je tu jeden veľký problém: kamera nezmizla

Najväčším nedorozumením by bolo interpretovať podobné projekty ako praktickú záruku anonymity. Takú záruku Weckert ani neposkytuje. Jeho projekt cieli predovšetkým na objektovú detekciu a zároveň explicitne upozorňuje, že konkrétne vládne systémy nie je možné nezávisle otestovať. Navyše jeden kamerový systém nemusí používať jediný algoritmus. Moderné dohľadové platformy môžu kombinovať detekciu osôb, sledovanie pohybu, analýzu správania, rozpoznávanie tváre, čítanie evidenčných značiek a ďalšie senzory či databázy.

Inými slovami, aj keby košeľa spoľahlivo zabránila jednému modelu označiť človeka ako „person“, neznamená to, že osoba prestane existovať v systéme. Kamera ju môže stále zaznamenať. Iný algoritmus môže využiť inú časť obrazu. Ďalší systém môže analyzovať pohyb alebo objekty, ktoré človek nesie. Adversariálne oblečenie preto nie je plášť neviditeľnosti, ale skôr veľmi konkrétna forma digitálnej kamufláže namierená proti určitému spôsobu strojového vnímania.

Keď sa dohľad stáva bežnou súčasťou ulice

Význam takýchto experimentov rastie spolu s rozsahom kamerového dohľadu. Britské policajné zbory napríklad v roku 2024 pomocou systémov živého rozpoznávania tvárí naskenovali približne 4,7 milióna tvárí, čo bolo viac než dvojnásobne viac než v predchádzajúcom roku. Počet nasadení mobilných jednotiek so systémami live facial recognition zároveň vzrástol zo 63 v roku 2023 na najmenej 256 v roku 2024.

Technológia sa tak postupne presúva z kategórie experimentov do každodennej infraštruktúry. Kamery už dávno nie sú iba pasívnymi zariadeniami, ktoré ukladajú záznam na neskoršie sledovanie. Čoraz častejšie sa nad obrazom nachádza ďalšia softvérová vrstva, ktorá sa snaží v reálnom čase rozhodnúť, čo práve vidí a či je to „normálne“, relevantné alebo podozrivé.

A práve v tomto okamihu vzniká paradox. Čím viac rozhodovania presúvame z človeka na algoritmus, tým dôležitejšia je otázka, nakoľko je algoritmus odolný voči manipulovanému obrazu. Ak môže špeciálne navrhnutý kus textilu ovplyvniť rozhodnutie modelu, nejde iba o problém súkromia. Je to zároveň otázka bezpečnosti a spoľahlivosti samotnej technológie.

Irónia na záver: košeľu navrhla AI

Najlepšia pointa projektu je pritom ukrytá priamo v jeho dizajne. Weckert využil umelú inteligenciu aj pri návrhu vzoru. Proces fungoval ako experimentálna adversariálna slučka, v ktorej sa dizajn postupne upravuje s cieľom zistiť, ktoré obrazové kombinácie sú pre detektor najproblematickejšie. Stroj tak pomáha človeku vytvoriť predmet určený na oklamanie iného stroja.

Technologický súboj tým získava takmer absurdnú podobu. Umelá inteligencia trénovaná na miliónoch obrázkov ľudí sa učí človeka rozpoznávať. Iná AI potom pomáha navrhnúť košeľu, ktorá má toto rozpoznávanie narušiť. Výsledok si človek oblečie a postaví sa pred kameru. Jedna časť technologického ekosystému sa ho snaží nájsť, druhá časť mu pomáha stať sa pre ňu horšie čitateľným.

Práve preto Digital Camouflage nie je iba módny výstrelok ani ďalší bizarný projekt z oblasti technologického umenia. Je to veľmi názorná demonštrácia jednej zo základných vlastností súčasnej umelej inteligencie: model môže byť mimoriadne presný v podmienkach, na ktoré bol optimalizovaný, a zároveň prekvapivo zraniteľný voči vstupom, ktoré človeku pripadajú úplne prirodzené.

Košeľa teda človeka neskrýva pred kamerou. Skrýva ho pred tým, čo sa kamera snaží zo zaznamenaného obrazu vypočítať. A to je podstatne zaujímavejšia myšlienka.

V čase, keď sa verejný priestor postupne mení na prostredie plné senzorov a algoritmického vyhodnocovania, totiž nebude otázkou iba to, čo kamery dokážu vidieť. Čoraz dôležitejšie bude aj to, čo všetko možno kamerovým algoritmom zabrániť vidieť správne.