Keď v roku 2013 tím z Google Brain zverejnil paper predstavujúci Word2Vec, málokto tušil, že ide o jeden z najvplyvnejších príspevkov v histórii počítačovej lingvistiky. Algoritmus, ktorého hlavným autorom bol český vedec Tomáš Mikolov, ukázal, že slová sa dajú vyjadriť ako vektory v matematickom priestore tak, že vzťahy medzi slovami zodpovedajú geometrickým vzťahom medzi vektormi.
- Kariéra: od Brna cez Google a Facebook späť do Prahy
- Prvá odlišnosť: skepticizmus voči veľkým jazykovým modelom
- Druhá odlišnosť: model kolapsu a sebatrénovania
- Tretia odlišnosť: život, evolúcia a komplexné systémy ako model AI
- Štvrtá odlišnosť: pokora voči vedomiu a tvrdé otázky
- Mikolov a Európa: kritika stavu výskumu
- Čo robí Mikolova zaujímavým: iná mapa problémov
Výsledky boli fascinujúce: kráľ mínus muž plus žena sa rovná kráľovná. Paríž mínus Francúzsko plus Taliansko sa rovná Rím. Word2Vec sa stal základným kameňom moderného spracovania prirodzeného jazyka a Mikolov dnes patrí podľa Google Scholar medzi vedcov s viac ako 200 000 citáciami čo ho robí nielen najcitovanejším českým vedcom vôbec, ale aj jedným z najcitovanejších v celom odbore AI.
No Tomáš Mikolov nie je len autor jedného algoritmu. Je to mysliteľ, ktorého intelektuálna trajektória ide opačným smerom ako väčšina jeho kolegov — a práve preto stojí za pozornosť.
Kariéra: od Brna cez Google a Facebook späť do Prahy
Mikolov vyštudoval a získal doktorát na Vysokom učení technickom v Brne, kde pracoval na rekurentných neurónových sieťach pre jazykové modelovanie. Jeho RNNLM toolkit prvá open source knižnica pre trénovanie neurónových jazykových modelov predchádzal éru veľkých jazykových modelov o celú dekádu. Po Brne nasledovalo Johns Hopkins University, Université de Montréal, Microsoft Research, Google Brain a napokon Facebook AI Research (FAIR), kde od roku 2014 pracoval na FastText a ďalších architektúrach pre porozumenie prirodzenému jazyku.
V roku 2019 urobil niečo, čo jeho kolegovia zo Silicon Valley chápali len ťažko: vrátil sa do Česka. Stal sa senior výskumníkom na Českom inštitúte informatiky, robotiky a kybernetiky ČVUT (CIIRC) a spoluzaložil startup BottleCap AI. Nie preto, že by nemal iné možnosti ale preto, že chcel robiť výskum, ktorý ho skutočne zaujíma, mimo tlaku komerčných laboratórií. Po návrate do Česka sa sústredí na fundamentálne problémy AI: neuchovávané učenie, dlhodobú pamäť, spontánnu evolúciu a rast komplexity. Display Daily
Prvá odlišnosť: skepticizmus voči veľkým jazykovým modelom
Bol to Mikolov, kto pomohol vybudovať základy toho, čo sa dnes nazýva veľké jazykové modely. A je to Mikolov, kto je k nim ako k ceste k skutočnej inteligencii hlboko skeptický nie zo závisti, ale z pochopenia ich vnútorného fungovania.
Súčasné neurónové siete sú obmedzené vo svojom potenciáli a je potrebná nová architektúra a nové modely, ktoré dokážu zvýšiť ich komplexitu a kreativitu. LLM podľa Mikolova robia niečo pozoruhodné generujú text, ktorý vyzerá ako ľudský. No práve v tom je háčik: vyzerá ako. Súčasné jazykové modely nie sú skutočne kreatívne nedokážu vynájsť vlastný jazyk ani myslieť mimo zavedených vzorcov.
Táto kritika nie je banálna. Je to argument o povahe inteligencie: skutočná inteligencia nie je len reprodukciou toho, čo bolo videné v tréningových dátach. Je to schopnosť generovať skutočne nové myšlienky, jazyky, koncepty niečo, čo za sebou nezanecháva štatistické stopy v existujúcich textoch. Mikolov si kladie otázku, ktorú väčšina jeho kolegov preskakuje: čo by vlastne muselo byť pravdou o systéme, aby sme ho mohli nazvať skutočne inteligentným?
Druhá odlišnosť: model kolapsu a sebatrénovania
V apríli 2024 zverejnil Mikolov so svojím kolegom Davidom Herelom z ČVUT paper s názvom Collapse of Self-trained Language Models, ktorý odhaľuje nepríjemný paradox. Keď jazykový model trénujete na jeho vlastných výstupoch analogicky k tomu, ako ľudia stavajú na vlastných predchádzajúcich myšlienkach namiesto zlepšenia nastáva degenerácia: výstupy sa stávajú opakujúcimi sa a kolabujú do repetitívnych vzorov.
Toto je dôležitý výsledok. V čase, keď industry sníva o sebazdokonaľujúcich sa AI systémoch modeloch, ktoré sa učia z vlastných výstupov a takto rekurzívne rastú, Mikolov experimentálne ukazuje, že tento princíp pri súčasných architektúrach nefunguje. Sebatrénovanie nevedie k rastu inteligencie, ale k jej kolapsu. Ak je jedným zo scenárov AGI rekurzívne sebazdokonaľovanie sa AI, Mikolov práve ukázal, že táto cesta je pri existujúcom prístupe slepá.
Tretia odlišnosť: život, evolúcia a komplexné systémy ako model AI
Tu sa Mikolov líši od drvivej väčšiny kolegov najpodstatnejšie. Zatiaľ čo mainstream AI výskum hľadá inteligenciu v stále väčších modeloch trénovaných na stále väčších datasetoch, Mikolov sa pýta inak: kde v prírode vznikla inteligencia? A čo sa z toho dá naučiť?
Odpoveď, ku ktorej sa dopracoval, ho zaviedla k biológii, umelému životu a teórii komplexných systémov. Cituje Conwayho Hru života a fraktály ako príklady komplexných systémov, ktoré spontánne zvyšujú svoju komplexitu, a naznačuje, že nová neurónová architektúra postavená na týchto princípoch by mohla byť kľúčom k skutočne kreatívnemu jazykovému modelu.
Hra života Conway’s Game of Life je bunkový automat s extrémne jednoduchými pravidlami (štyri pravidlá pre prežitie a reprodukciu buniek), no z týchto pravidiel emergujú neuveriteľne komplexné štruktúry: klzáky, oscilátory a dokonca aj kompletné Turingove stroje. Komplexita tu nevznikla designom emergovala z jednoduchých pravidiel interakcie.
Mikolov sa pýta: čo keby skutočná AI emergovala podobne? Nie z obrovského modelu natrénovaného na všetkých textoch ľudstva, ale zo systému so správnymi pravidlami interakcie, ktorý by spontánne generoval rastúcu komplexitu? Spolu s kolegom Germánom Kruszewskim publikoval v roku 2022 v časopise Artificial Life prácu Emergence of Self-Reproducing Metabolisms as Recursive Algorithms in an Artificial Chemistry — štúdiu, v ktorej skúmali, ako sa môžu samoreplikujúce metabolizmy spontánne objaviť z jednoduchých chemických pravidiel v umelom prostredí.
Toto nie je metafora. Mikolov to myslí doslova: vznik života a vznik inteligencie sú podľa neho príbuzné javy oba sú príkladmi toho, ako z jednoduchých lokálnych interakcií emerguje globálna komplexita. A rovnako ako biologická evolúcia nevyžadovala centrálny dizajnér, možno skutočná AI nevyžaduje architekta, ktorý explicitne zakóduje inteligenciu ale systém, ktorý má správne podmienky pre jej emergence.
Štvrtá odlišnosť: pokora voči vedomiu a tvrdé otázky
Mikolov uviedol, že hoci jazykové modely nemajú vedomie, nie je nemožné, aby ho jedného dňa získali. Zároveň priznal, že je tu ešte dlhá cesta. Toto je pozoruhodná pozícia nie triumfalizmus ani odmietanie. Je to postoj vedca, ktorý si uvedomuje, že otázka vedomia je ťažká a že súčasné modely ju neriešia.
Väčšina AI diskusie osciluje medzi dvoma pólmi: tí, ktorí tvrdia, že súčasné LLM sú na prahu AGI, a tí, ktorí tvrdia, že sú to iba sofistikované vyhľadávače vzorcov bez akejkoľvek skutočnej inteligencie. Mikolov zaujíma tretiu pozíciu: nevieme dosť na to, aby sme vylúčili možnosť budúcej strojovej inteligencie alebo vedomia no vieme dosť na to, aby sme povedali, že to nie je to, čo robíme teraz. Z jeho pohľadu nie je otázkou, či AI bude mať vedomie, ale či vôbec hľadáme správnou cestou.
Mikolov a Európa: kritika stavu výskumu
Mikolov je otvorene kritický voči európskemu výskumnému prostrediu. Tvrdí, že Európa zaostáva za Čínou a Amerikou v oblasti AI výskumu, a to je téma, ktorá si zaslúži viac pozornosti vzhľadom na potenciálny dopad týchto technológií na spoločnosť a ekonomiku. Verejné financovanie AI výskumu je z jeho perspektívy takmer neexistujúce, a to napriek dostupnosti talentovaných a motivovaných ľudí v regióne.
Nevie sa stotožniť s prístupom európskej regulácie: plány pre AI regulácie sú podľa neho príliš často tvorené ľuďmi, ktorí nekonzultovali s AI komunitou. Regulácie by nemali ochromiť európsky technologický priemysel mali by chrániť občanov bez toho, aby brzdili inováciu. A jeho postoj k strašeniu sci-fi scenármi o terminátoroch je jednoznačný: je to rozptýlenie pozornosti od skutočných, oveľa prizemejších výziev.
Čo robí Mikolova zaujímavým: iná mapa problémov
Väčšina AI výskumu dnes funguje na jednej mape problémov: benchmarky, škálovanie, výpočtový výkon, alignment. Mikolov pracuje na inej mape: emergencia, samoreplikácia, spontánna evolúcia, vznik komplexity, origins of life.
Nie je sám – Yann LeCun, François Chollet a niekoľko ďalších vedcov zdieľajú skepticizmus voči tomu, že škálovanie LLM vedie k skutočnej inteligencii. No Mikolov ide ďalej: aktívne hľadá alternatívny paradigmatický rámec v biológii a teórii komplexných systémov. Verí, že open-ended evolúcia schopnosť systému neobmedzene zvyšovať svoju komplexitu bez externého cieľa môže byť predpokladom pre vznik skutočnej umelej všeobecnej inteligencie.
Je to riskantná stávka. Celé desaťročia pokusy o umelý život a emergentné AI systémy nepriniesli výsledky porovnateľné s hlbokým učením. Ale je to aj intelektuálne poctivá stávka pretože Mikolov sa pýta otázky, na ktoré súčasný mainstream nemá odpoveď: Ako sa z ničoho objaví niečo skutočne nové? Ako vznikla inteligencia v prírode? A čo nám to hovorí o tom, ako ju vytvoriť umelo?
Tomáš Mikolov nie je prorok ani guru. Je to vedec, ktorý vynašiel jeden z kľúčových nástrojov modernej AI a potom mal dostatok vedeckej odvahy spýtať sa, či ideme správnou cestou.
