Existuje matematický dôvod, prečo AI modely trénované na AI-generovaných dátach môžu za určitých podmienok degradovať. Nie je to chyba implementácie. Je to štatisticky dobre zdokumentované riziko.
Štúdia z roku 2025 zistila, že viac ako 74,2 % nových webových stránok obsahuje AI-generovaný materiál. Celkový odhad: 30–40 % všetkého aktívneho textu na webe dnes pochádza z AI-generovaných alebo AI-editovaných zdrojov.
NewsGuard tracker zaznamenal rast AI „spravodajských“ stránok zo 49 na 1 271 medzi májom 2023 a májom 2025.
Toto nie sú odhady do budúcnosti. Deje sa to teraz. A modely, ktoré sa trénujú dnes, čerpajú z tohto prostredia.
A práve z tohto webu sa trénujú ďalšie jazykové modely.
Toto nie je len nepohodlný fakt. Je to matematický problém s predvídateľným koncom.
Vedci ho nazývajú model collapse. A jeho mechanizmus je presný, merateľný a zatiaľ nevyriešený.
1. Čo jazykový model skutočne robí
Aby sme pochopili, prečo kolaps nastáva, musíme najprv pochopiť, čo sa deje vo vnútri modelu.
Jazykový model nepracuje so slovami ako s textom. Každé slovo, každý koncept, každá myšlienka je reprezentovaná ako vektor — bod v priestore s tisíckami dimenzií. Podobné koncepty sú v tomto priestore blízko seba. Vzdialené koncepty sú ďaleko od seba.
Keď model generuje text, nevyberá slová deterministicky. Počíta pravdepodobnostné rozdelenie nad celou slovnou zásobou a vzorkuje z neho. Bežné, typické odpovede majú vysokú pravdepodobnosť. Zriedkavé, ale legitímne možnosti ležia v „chvostoch“ tohto rozdelenia.
Chvosty nie sú okrajové. Obsahujú jazykovú rozmanitosť, kreatívne použitie jazyka, špecializované vedomosti, nuansované argumenty — všetko, čo robí jazyk bohatým.
A práve chvosty sú prvé, čo sa stratia.
Bližšie k mechanizmu: čo sú oddelenia chvostov rozdelenia a prečo ich AI orezáva
Situácia zo života: Predstavte si že sa spýtate tisíc ľudí, „čo budete jesť na obed.“ Väčšina uvedie bežné jedlá — to je stred rozdelenia. Ale niektorí odpovedia nezvyčajné kombinácie, regionálne špeciality, exotické jedlá — to sú chvosty. Tieto zriedkavé odpovede obsahujú informácie o kultúrnej rozmanitosti. Keby ste ďalšiu generáciu ľudí naučili len na odpovediach predchádzajúcej — chvosty by sa postupne stratili. Zostal by len priemer.
Vedecké vysvetlenie: Generatívny model nikdy nedokáže zachytiť plné pôvodné rozdelenie dát. Vzorkuje z neho — a vzorkovanie je vždy štatisticky nepresné. Tréning na modelom-generovaných dátach vedie k strate informácií v chvostoch dokonca aj pri malom množstve syntetických dát. Vzorkovacia chyba spôsobuje, že zriedkavé udalosti sú postupne čoraz menej zastúpené — a tento efekt sa kumuluje naprieč generáciami trénovania. Matematicky ide o postupnú kompresiu rozdelenia: každá generácia modelu je mierne menej rozmanitá než predchádzajúca.
2. Mechanizmus akumulácie chyby
Tu prichádza jadro problému — akumulovaná chyba.
Každá generácia modelu robí dva typy chýb pri reprezentácii pôvodného rozdelenia dát:
Štatistická aproximačná chyba — model je trénovaný na konečnom počte vzoriek. Nikdy presne nezachytí pôvodné rozdelenie. Každé vzorkovanie je mierne skreslené smerom k bežnejším príkladom.
Funkčná aproximačná chyba — aj keby sme mali nekonečne vzoriek, model nemá dostatočnú kapacitu zachytiť všetku komplexitu jazyka. Nevyhnutne zjednodušuje.
Keď tieto chyby vstúpia do trénovacích dát ďalšej generácie, nestanú sa trénovacie ciele pre nasledujúci model presnejšie — stanú sa nepresnejšie. A chyba sa neruší. Akumuluje sa.
Formálne modely ukazujú, že testovacia chyba má tendenciu rásť s počtom generácií trénovania — pričom konkrétna dynamika závisí od architektúry modelu, pomeru syntetických a reálnych dát a spôsobu ich miešania. Dohmatob et al. (2024) dokumentujú tento efekt v špecifických experimentálnych nastaveniach. Každá iterácia pridáva ďalší príspevok k chybe. Syntetické dáta tiež prispievajú k skráteniu škálovacieho zákona — čo znamená, že väčšie modely trénované na syntetických dátach neprinášajú očakávané zlepšenie výkonu.
Schematicky:
- Generácia 0: Ľudský text. Plné bohaté rozdelenie. Chvosty nedotknuté.
- Generácia 1: Model trénovaný na ľudskom texte. Mierne zúžené rozdelenie. Malá chyba.
- Generácia 2: Model trénovaný na výstupoch G1. Chyba G1 sa stáva trénovacím signálom. Rozdelenie ďalej zúžené.
- Generácia n: Rozdelenie sa zrútilo. Model generuje stereotypné, opakujúce sa, „priemerné“ odpovede. V závažných prípadoch rekurzívneho trénovania výskumníci pozorovali stratu diverzity výstupov, módový kolaps (model generuje len niekoľko stereotypných odpovedí) a horšiu generalizáciu na reálne dáta. V extrémnych experimentálnych podmienkach sa objavoval aj nekoherentný výstup — ale bežnejším výsledkom je tichá degradácia kvality než dramatický kolaps.
Nie je to chyba implementácie. Je to matematicky predvídateľný dôsledok za určitých podmienok v rekurzívnom systéme, kde chyba vstupuje späť do trénovania.
3. Prečo je to analogické chybovým dátam v neurónových sieťach
Tento mechanizmus má hlbšiu paralelu s tým, ako sa učia neurónové siete všeobecne.
Keď trénujeme neurónovú sieť na chybných dátach, synaptické váhy sa nastavia tak aby minimalizovali predikčnú chybu na tých chybných dátach. Sieť sa nenaučí pravdu — naučí sa chybu ako „správne“ správanie.
V LLM je situácia identická: transformerová architektúra počas trénovania minimalizuje predikčnú chybu na trénovacej sade pomocou gradientného zostupu. Ak trénovacia sada obsahuje syntetický text, kde sa kumulovali chyby predchádzajúcich generácií — model optimalizuje váhy tak, aby tieto chyby reprodukoval čo najpresnejšie.
Váhy vektorového priestoru sa pomaly posúvajú. Nie dramaticky pri každej iterácii — ale konzistentne, smerom preč od pôvodného ľudského rozdelenia. Každý krok je malý. Kumulovaný efekt ale môže byť zásadný.
Bližšie k mechanizmu: prečo náhrada kolabuje, ale akumulácia nie
Situácia zo života: Predstavte si encyklopédiu ktorá sa každé vydanie prepíše na základe predchádzajúceho vydania — bez konzultácie pôvodných zdrojov. Každé vydanie bude mierne menej presné. Po dvadsiatich vydaniach bude plná chýb. Ale ak každé vydanie pridáte k pôvodnému — pôvodná informácia zostáva a chyby sú menšinové.
Vedecké vysvetlenie: Výskum identifikoval kľúčový rozdiel medzi dvoma stratégiami. Náhrada — každá generácia trénovania nahradí predchádzajúce dáta novými vrátane syntetických — vedie ku kolapsu, pretože diverzita klesá monotónne. Akumulácia — každá generácia pridá nové dáta k existujúcim — zachováva kotvu pôvodných ľudských dát a kolaps nenastáva. Matematicky: náhrada spôsobuje, že rozdelenie konverguje k bodu. Akumulácia zachováva šírku rozdelenia. Zdanlivo jednoduchý rozdiel — ale s radikálne odlišnými dlhodobými dôsledkami.
4. Problém zrkadlového tunela
Praktický dopad tohto mechanizmu presahuje laboratórne experimenty.
Internet sa v reálnom čase mení na prostredie, kde je čoraz ťažšie rozlíšiť ľudský text od syntetického. Syntetické dáta sa nahrávajú na web bez akéhokoľvek označenia. Budúci zberatelia dát nedokážu rozlíšiť reálny obsah od syntetického. To znamená, že syntetické dáta nevyhnutne vstúpia do trénovania budúcich modelov.
Výsledkom je systém, ktorý pripomína zrkadlový tunel: každý odraz je o niečo menej ostrý než predchádzajúci. Nie dramaticky — ale konzistentne. Informácia sa pri každej iterácii stráca. Chvosty rozdelenia, kde žije kreativita, nuansa a zriedkavé, ale cenné vedomosti, postupne miznú.
Model, ktorý prešiel viacerými generáciami rekurzívneho trénovania začne generovať text, ktorý je:
- Štylisticky uniformný — stratila sa jazyková diverzita
- Fakticky degenerovaný — vzácne, ale správne fakty vypadli z rozdelenia
- Stereotypný — modely konvergujú k „priemerným“ odpovediam
- Nakoniec nekoherentný — rozdelenie sa zrúti do malého ostrova vysokopravdepodobných tokenov
5. Prečo vysoké benchmarky klamú
Tu prichádza obzvlášť zákerný aspekt modelu collapse.
Výkon môže vyzerať dobre na znečistených benchmarkoch, ale degradovať v reálnom svete.
Ak trénovacie dáta aj evaluačné benchmarky obsahujú syntetický obsah z rovnakých generácií modelov — model sa môže javiť ako výkonný, pretože je dobre kalibrovaný na skreslené rozdelenie. Ale keď ho nasadíte na reálne ľudské dáta, výkon klesne.
Toto je systémové riziko: výkon môže vyzerať dobre na znečistených benchmarkoch, ale degradovať v reálnom svete. Výskum z rokov 2023 a 2024 dokazuje tento efekt niekedy až dramaticky.
Industria na to reaguje: preto vidíme vlnu licenčných dohôd s vydavateľmi, newsroomami a akademickými inštitúciami. Čistý autentický ľudský text sa stáva vzácnym a ceneným zdrojom — presne opačný trend, než by ste čakali v ére, kedy AI generuje text lacno a masovo.
Model collapse má priame dôsledky pre bezpečnosť AI. Ak sa bezpečnostne relevantné správania učia z trénovacích dát a tieto dáta sa postupne degradujú, bezpečnostné vlastnosti môžu degradovať spolu so všeobecnými schopnosťami. Model, ktorý kolabuje smerom ku generickým výstupom, môže stratiť nuansované chápanie bezpečnostných hraníc, etického uvažovania a kontextového úsudku. Model collapse by mohol erodovať reprezentáciu menšinových pohľadov a hraničných prípadov v trénovacích dátach, čo vedie k modelom, ktoré sú menej spoľahlivé.
Toto presahuje kvalitu textu. Bezpečnostné systémy, mediačné algoritmy, systémy na detekciu dezinformácií — všetky sú trénované na rovnakých dátach a podliehajú rovnakému riziku.
Najnovší smer riešenia: matematická váha zlatého rezu
He et al. (2025, arXiv) navrhli zaujímavý prístup: namiesto jednoduchej akumulácie alebo náhrady použiť špecifický pomer miešania reálnych a syntetických dát ktorý matematicky minimalizuje akumuláciu chyby.
Pracovný názov: „golden ratio weighting“ — pomer, pri ktorom príspevok syntetických dát k chybe zostáva kontrolovaný naprieč generáciami.
Práca poskytuje teoretický aj experimentálny rámec na riešenie model collapse pri rekurzívnom/sebatrénovaní (self-training na syntetických dátach) zatiaľ na jednoduchších modeloch (nie priamo na veľkých LLM). Namiesto jednoduchého miešania dát výskumníci navrhujú vážené tréningovanie (weighted training), kde reálne dáta dostávajú špecifickú váhu.
Kľúčový insight: Keď je v každej iterácii rovnaké množstvo reálnych a syntetických dát, optimálna váha reálnych dát sa blíži k recipročnej hodnote zlatého rezu ≈ 0.618 (teda ~61.8 % váha na reálne dáta, ~38.2 % na syntetické). Toto nie je náhodný nápad – vyplýva z matematickej analýzy akumulácie chyby v iteratívnom odhade parametrov (napr. v Gaussovských modeloch a podobne).
Toto nie je len technická kuriozita. Je to prvý matematicky odvodený recept na to, ako syntetické dáta bezpečne používať — nie ich zakazovať ani ignorovať, ale presne dávkovať.
Konsenzus výskumu je, že model collapse je reálne a signifikantné riziko, ktoré vyžaduje aktívne riadenie, nie teoretickú kuriozitu.
Záver: najvzácnejší zdroj AI budúcnosti
Model collapse odhaľuje fundamentálny paradox moderného AI vývoja.
Čím lepšie sú dnešné modely — tým viac syntetického textu produkujú. Čím viac syntetického textu je na internete — tým ťažšie je nájsť čisté ľudské dáta pre trénovanie ďalšej generácie. Čím menej čistých ľudských dát — tým väčšie riziko kolapsu budúcich modelov.
Kumulovaná chyba nie je náhoda ani implementačná chyba. Je to nevyhnutný dôsledok rekurzívneho systému, kde výstup vstupuje späť ako vstup — bez externej korekcie, bez kotvy v pôvodnom rozdelení, bez mechanizmu na identifikáciu a odstránenie akumulovanej odchylky.
Riešenie existuje — akumulácia nie náhrada, vodoznaky v syntetickom obsahu, licencovanie autentických ľudských dát. Ale žiadne z nich nie je systémové riešenie problému, ktorý rastie rýchlosťou samotného internetu.
Najlepšie AI modely budúcnosti nemusia byť tie s najväčším trénovacím setom. Ale tie, ktoré si zachovajú prístup k autentickým ľudským dátam — čoraz vzácnejšiemu zdroju v svete, ktorý sám od seba produkuje čoraz viac syntetického obsahu.
Tento fenomén je aj jedným z dôvodov, prečo niektorí výskumníci, vrátane Tomáša Mikolova, upozorňujú na limity súčasnej paradigmy veľkých jazykových modelov a skúmajú alternatívne prístupy inšpirované komplexnými systémami či evolúciou. Ak vás zaujíma, aké sú alternatívy k súčasnej paradigme AI, prečítajte si tiež článok o Tomášovi Mikolovovi.
Zoznam literatúry
- Shumailov, I. et al. (2024) — AI models collapse when trained on recursively generated data — Nature, 631: 755–759
- Dohmatob, E. et al. (2024) — A tale of tails: Model collapse as a change of scaling laws — arXiv:2402.07043
- Gerstgrasser, M. et al. (2024) — Is model collapse inevitable? Breaking the curse of recursion by accumulating real and synthetic data — arXiv:2404.01413
- Alemohammad, S. et al. (2023) — Self-consuming generative models go MAD — arXiv:2307.01850
- Mikolov, T. et al. (2024) — Limitations in LLM training paradigms — CIIRC CTU Prague
- Mikolov, T. et al. (2013) — Efficient estimation of word representations in vector space — arXiv:1301.3781
- He, H. et al. (2025) — Golden ratio weighting prevents model collapse — arXiv:2502.18049
- Spennemann, D. H. R. (2025) — The prevalence of AI-generated content on the web — Digital Society
- Shumailov, I. et al. (2024) — Nature article: model collapse across LLMs, VAEs a GMMs
