V roku 1940 Alan Turing rozlúštil Enigmu. V roku 1986 Geoffrey Hinton naučil počítače učiť sa. Výskumníci aktívne skúmajú potenciálne aplikácie kvantových počítačov pri návrhu liečiv a optimalizačných úlohách — väčšina z nich zostáva v experimentálnom štádiu. Tri rôzne fyzikálne mechanizmy, tri rôzne éry — a pozoruhodne podobná intuícia, ktorú nikto z nich vedome nezdieľal.
- 1. Enigma a umenie eliminácie
- 2. Štyridsaťpäť rokov neskôr: Hinton naučil počítače robiť to isté — s chybami
- 3. Ďalších štyridsať rokov: kvantové počítače robia to isté — vlnami
- 4. Tri éry, jedna tabuľka
- 5. Kde sa tieto tri svety dnes stretávajú
- Záver: čo tieto tri myšlienky hovoria o myslení
- Zoznam literatúry
Je rok 1941. Bletchley Park, Anglicko.
Alan Turing stojí pred elektromechanickým monštrom veľkým ako skriňa. 108 rotujúcich bubnov. Hluk ako v továrni. A otázka, od ktorej závisí výsledok vojny.
Nemecká Enigma generuje 158 triliónov možných nastavení. Keby skúšali jedno za sekundu, vojna by skončila skôr než by prešli desatinou možností.
Turing sa nepozerá na to, kde je správna odpoveď. Pozerá sa, kde nemôže byť.
Práve toto rozhodnutie — nehľadať správne, ale hľadať nesprávne — sa stane jednou z najpodceňovanejších myšlienok v histórii vedy.
1. Enigma a umenie eliminácie
Nemecký šifrovací stroj Enigma bol inžinierske majstrovské dielo. Sústava rotujúcich bubnov dokázala každé písmeno správy zakaždým zašifrovať inak. Počet možných nastavení vojnovej Enigmy sa odhaduje na rádovo 10²² až 10²³ konfigurácií — v závislosti od konfigurácie rotorov a prepojovacieho panela. Číslo s dvadsiatimi troma ciframi. Pre porovnanie: počet sekúnd od Veľkého tresku má sedemnásť číslic. Pre kontext: počet atómov v pozorovateľnom vesmíre má „len“ 80 číslic.
Ale Enigma mala jednu vrodenú chybu. Takú malú, že Nemci ju nikdy nepovažovali za problém.
Enigma nikdy nedokázala zašifrovať písmeno samo na seba.
Z „A“ mohlo vzniknúť čokoľvek — „X“, „P“, „M“ — ale nikdy nie opäť „A“. Zdalo sa to ako drobnosť. Pre Turinga to bola zbraň.
Tím hľadal v zachytených správach „cribs“ — úseky textu, o ktorých vedeli, čo znamenajú. Nemci posielali každé ráno meteorologickú správu obsahujúcu slovo „Wettervorhersage.“ Keďže Enigma nemohla zašifrovať písmeno samo na seba, každý takýto logický nemožný pár okamžite eliminoval celé kategórie nastavení.
Turing navrhol stroj — Bombe — ktorý rotujúcimi bubnami a elektrickými obvodmi testoval nastavenia. Keď testovaná poloha viedla k paradoxu (písmeno zašifrované samo na seba), obvod sa skratoval. Skrat = eliminácia. Okamžitá, automatická.
Stroj sa zastavil, až keď k skratu nedošlo. Táto preživšia možnosť bola kľúčom.
Bombe neprehľadávala správne odpovede. Nechávala nesprávne aby sa samy zničili.
Bližšie k mechanizmu: Bombe ako logický filter
Situácia zo života: Dostanete zašifrovanú správu. Viete že obsahuje slovo „počasie“ na konkrétnej pozícii. Viete tiež, že šifra nikdy nedá písmeno „p“ na miesto, kde je „p“ v origináli. Čo môžete z toho vyvodiť?
Vedecké vysvetlenie: Každé písmeno cribu definuje obmedzenie. „P na pozícii 3 nemôže byť zašifrované ako P“ — to eliminovalo jednu skupinu nastavení. „O na pozícii 4 nemôže byť O“ — ďalšia eliminácia. Reťazcom takýchto logických obmedzení Bombe v zlomku sekundy eliminovala celé triedy konfigurácií pomocou logických obmedzení — testovala ich fyzicky, ale veľmi efektívne: akonáhle nastala logická kontradikcia, celá vetva možností zanikla bez nutnosti ďalšieho skúmania. Bombe nepracovala s pravdepodobnosťami. Pracovala s deterministickou logikou: buď nastane skrat (paradox), alebo nie. Žiadne superpozície, žiadne vlny. Čistá binárna eliminácia.
2. Štyridsaťpäť rokov neskôr: Hinton naučil počítače robiť to isté — s chybami
Je rok 1986. Geoffrey Hinton, David Rumelhart a Ronald Williams publikujú v časopise Nature článok s názvom „Learning representations by back-propagating errors.“
Neurónové siete existujú desaťročia. Ale majú jeden fatálny problém: vedeli sa učiť len ak mali jednu vrstvu neurónov. Viacvrstvové siete — také, ktoré by dokázali rozpoznávať tváre, prekladať jazyk, hrať šach — nikto nevedel natrénovať. Chyba sa nevedela „dostať“ cez vrstvy späť k zdrojom problému.
Rumelhart, Hinton a Williams to vyriešili cez backpropagation — algoritmom spätného šírenia chyby.
Mechanizmus je elegantný. Backpropagation opakovane upravuje váhy spojení v sieti tak, aby minimalizovala rozdiel medzi skutočným a požadovaným výstupným vektorom.
Ale kľúčové slovo nie je „minimalizuje.“ Kľúčové slovo je „chyba.“
Backpropagation neprehľadáva správne konfigurácie váh. Meria chybu na výstupe — rozdiel medzi tým čo sieť predpovedala a tým, čo mala predpovedať — a propaguje signál o tejto chybe späť cez všetky vrstvy. Každá váha sa upraví proporcionálne k tomu, koľko prispela k chybe.
Backpropagation technicky minimalizuje diferencovateľnú funkciu straty — nie je to eliminácia v Turingovom zmysle. Ale naratívna paralela platí: sieť sa neučí tým, že nájde správne váhy priamo. Učí sa tým, že iteratívne redukuje chybu — zbavuje sa nesprávnych konfigurácií krok za krokom. Je to metafora, nie mechanizmus. A ako metafora je presná.
Bližšie k mechanizmu: ako backpropagation „eliminuje“ chybu
Situácia zo života: Učíte sa streľbu na terč. Každý výstrel vám povie nie len „mínul si“, ale presne „bol si 10 cm vľavo a 5 cm nízko.“ Podľa toho upravíte mieridlá. Každý ďalší výstrel je presnejší.
Vedecké vysvetlenie: Backpropagation opakovane upravuje váhy v sieti tak, aby minimalizovala mieru rozdielu medzi skutočným a požadovaným výstupným vektorom pre aktuálny vstup. Tento „rozdiel“ je chybový signál — matematická miera nepresnosti. Algoritmus ho propaguje spätne cez všetky vrstvy pomocou reťazového pravidla derivácie (chain rule). Každá váha dostane informáciu: „tvojou vinou bola chyba o toto množstvo väčšia.“ Váhy ktoré prispievajú k chybe sa znížia. Váhy ktoré prispievajú k správnej odpovedi sa posilnia. Proces sa opakuje tisícky, alebo milióny krát. Výsledok: sieť, ktorá „vie“ rozpoznávať tváre, prekladať texty, hrať šach — bez toho aby ju niekto explicitne naprogramoval. Naučila sa sama tým, že sa zbavovala nesprávnych konfigurácií.
3. Ďalších štyridsať rokov: kvantové počítače robia to isté — vlnami
Moderné kvantové počítače riešia rovnaký typ problému: hľadanie správnej odpovede v priestore astronomicky veľa možností. A používajú rovnakú základnú intuíciu — elimináciu nesprávnych možností.
Ale fyzikálny mechanizmus je úplne odlišný od oboch predchádzajúcich.
Namiesto elektrického skratu (Turing) alebo chybového signálu (Hinton) používajú kvantové počítače deštruktívnu interferenciu.
Hoďte kameň do pokojnej vody. Vzniknú vlny. Hoďte dva kamene. Kde sa stretne vrchol s vrcholom — vlna je vyššia. Kde sa stretne vrchol s dnom — vlny sa vyrušia a voda sa upokojí.
Toto je interferencia. A Groverov vyhľadávací algoritmus ju používa systematicky.
Kvantový počítač nastaví všetky qubity do superpozície — všetky možnosti existujú súčasne. Algoritmus „označí“ správnu odpoveď jemnou fázovou zmenou. Séria kvantových operácií spôsobí, že vlny nesprávnych odpovedí sa stretávajú v protifáze a navzájom sa vyrušia. Vlna správnej odpovede sa zosilní.
Keď sa na systém „pozrieme“ — vlnová funkcia skolabuje a uvidíme správnu odpoveď s výrazne zvýšenou pravdepodobnosťou oproti náhodnému hádaniu.
Turing: skrat eliminuje nesprávne možnosti. Hinton: chyba eliminuje nesprávne váhy. Grover: interferencia eliminuje nesprávne amplitúdy.
Bližšie k rozdielu: prečo to nie je tá istá veda — len tá istá intuícia
Situácia zo života: Traja rôzni kuchári varia polievku. Jeden odstraňuje ingrediencie, ktoré nechutia. Druhý znižuje množstvo soli podľa toho, o koľko je už príliš slaná. Tretí nechá nesprávne chute navzájom sa vyrušiť v chemickej reakcii. Výsledok: dobrá polievka. Mechanizmy: úplne odlišné.
Vedecké vysvetlenie: Bombe pracuje deterministicky — binárna logika, žiadne pravdepodobnosti. Backpropagation pracuje s gradientmi — spojité hodnoty, diferenciálny počet. Groverov algoritmus pracuje s kvantovými amplitúdami v Hilbertovom priestore — matematická štruktúra bez klasickej analógie. Turing neinšpiroval Hintona. Hinton neinšpiroval Grovera. Objavili rovnakú intuíciu nezávisle, každý v úplne iných vedách a s úplne inými nástrojmi. Práve to robí túto konvergenciu fascinujúcou: nie je to tradícia. Je to opakovaný objav rovnakej myšlienky v rôznych fyzikálnych realitách.
4. Tri éry, jedna tabuľka
| Turing / Bombe (1940) | Hinton / Backprop (1986) | Grover / Kvantum (1996+) | |
|---|---|---|---|
| Médium | Elektromechanické bubny | Váhy neurónových sietí | Kvantové amplitúdy |
| Čo sa eliminuje | Logické paradoxy | Chybové konfigurácie váh | Nesprávne amplitúdy (deštruktívna interferencia) |
| Mechanizmus | Elektrický skrat | Gradient chyby (chain rule) | Kvantová interferencia |
| Fyzika | Klasická, deterministická | Klasická, spojitá | Kvantová mechanika |
| Výsledok | Kľúč k Enigme | Naučená neurónová sieť | Správna odpoveď z milióna možností |
5. Kde sa tieto tri svety dnes stretávajú
Toto nie je len historická kuriozita.
Moderné AI systémy — vrátane tých, ktoré dnes generujú texty, obrázky a hudbu — stoja na backpropagation z roku 1986. Žiadne z toho by neexistovalo bez tichej práce z roku 1986. Stroje sa dnes dokážu učiť, pretože vtedy niekto prišiel na to, ako ich to naučiť.
Kvantové počítače zatiaľ nie sú všemocné stroje. Pre veľmi špecifické benchmarky — simulácia kvantových systémov, niektoré optimalizačné problémy — prekonávajú klasické stroje. Pre bežné výpočty zostávajú klasické počítače rýchlejšie a spoľahlivejšie.
Ale výskumníci dnes pracujú na hybridoch: systémoch, kde kvantové procesory riešia podúlohy, pre ktoré sú ideálne, a neurónové siete trénované na backpropagation zvyšok. Turing, Hinton a Grover v jednom stroji.
Záver: čo tieto tri myšlienky hovoria o myslení
Alan Turing nevedel o neurónových sieťach. Geoffrey Hinton nenavrhoval kvantové algoritmy. Lov Grover neštudoval Enigmu.
A predsa každý z nich — v rôznej dobe, v rôznej vede, s rôznymi nástrojmi — prišiel na rovnakú základnú intuíciu:
Ak chceš nájsť správnu odpoveď v priestore astronomicky veľa možností, nesnaž sa nájsť ju priamo. Navrhni systém, kde sa nesprávne odpovede eliminujú samy.
Toto je možno jedna z najhlbších myšlienok v histórii výpočtovej vedy. A objavila sa trikrát, nezávisle, v rozpätí päťdesiatich šiestich rokov.
Pozoruhodne podobný princíp riešenia problémov objavený trikrát nezávisle v rozpätí päťdesiatich šiestich rokov nie je dôkaz — ale je to zaujímavý opakujúci sa motív vo výpočtovej vede. Možno príroda naozaj má obmedzenú sadu hlbokých riešení. Alebo možno objavujeme stále ten istý ľudský spôsob myslenia o komplexnosti. Oboje je fascinujúce. — a my ich objavujeme znova a znova, v rôznych kontextoch.
Zoznam literatúry
- Turing, A. M. (1936) — On computable numbers — Proceedings of the London Mathematical Society, 42: 230–265
- Rumelhart, D. E., Hinton, G. E. & Williams, R. J. (1986) — Learning representations by back-propagating errors — Nature, 323: 533–536
- Grover, L. K. (1996) — A fast quantum mechanical algorithm for database search — Proceedings of the 28th ACM Symposium on Theory of Computing: 212–219
- Copeland, B. J. (2004) — The Essential Turing — Oxford University Press
- Nielsen, M. A. & Chuang, I. L. (2010) — Quantum Computation and Quantum Information — Cambridge University Press
- Hodges, A. (1983) — Alan Turing: The Enigma — Burnett Books
