Série esejí Situational awareness: The Decade Ahead od bývalého zaměstnance OpenAI (PDF, 165 stran) se zamýšlí nad možným scénářem nejbližšího vývoje umělé inteligence.
Autor píše z pozice mírného insidera, který vidí, jak vypadá současný boom (někdo by řekl bublina) v San Franciscu, kde se aktuální výzkum a vývoj soustředí.
V první kapitole autor rozebírá vývoj za posledních pět let - od GPT-2 k současným AI asistentům a chatbotům. Ukazuje různé úkoly a velmi zajímavé benchmarky (např. GPQA), které se postupně pomocí AI dařilo řešit, a vysvětluje svůj pohled na kvantifikování zlepšení v algoritmech, výpočetním výkonu a samotném provozu těchto programů.
V následujících kapitolách autor extrapoluje tento vývoj do dalších pět let. Jeho základní tezí je, že došlo k určitému skoku ve schopnostech od GPT-2 (stěží dokázala počítat nebo vygenerovat trochu srozumitelný text) po současný stav (AI asistenti pomáhající s programováním a obecně řešením netriviálních problémů), a pokud se skok této velikosti ještě jednou zopakuje, dojde k vytvoření autonomního agenta, který již bude mít schopnosti takové, že ho bude možné najmout jako běžného pracovníka (full remote programátora) do firem. Autor popisuje, jaké dílčí pokroky k tomuto budou potřeba, jaké výpočetní clustery budou pravděpodobně potřeba, a ukazuje, že se nyní do tohoto průmyslu sypou obrovské peníze, za které se takové clustery již teď plánují a začínají stavět.
Výše uvedené autora vede k závěru, že takové AI pracovníky jako první využijí právě AI společnosti, a množství těchto pracovníků (stroj se neunaví a můžete si jich nakopírovat tisíce a miliony, kolik upočítáte a vejde se vám do paměti) bude pokračovat s výzkumem a vývojem AI, a tím se dostaneme k explozi inteligence a technologické singularitě. Upozorňuji, že autor tvrdí, že toto opravdu může nastat v příštích 5 letech, a rozepisuje vývoj na roky 2025-2028.
Dle mého názoru (autora zprávičky), toto je hlavní část, která není zjevná a podložena (a.k.a. dojmologie): vylepšování AI se samozřejmě může zadrhnout, nebo se ukáže, že k autonomnímu pracovníkovi je potřeba výrazně víc, než ještě jednou zopakovat pokrok od GPT-2 k současným AI (Claude, GPT4o). Myslím si nicméně, že popsaný sled událostí je určitě představitelný a možný.
Náročnost nastíněného vývoje (vývoj potřebného softwaru, ale především výroba specializovaných čipů pro akceleraci výpočtů, stavba a provoz obrovských clusterů) je značná; autor ukazuje z historie příklady podobně rozsáhlých projektů: exploze ve stavbě železnic v polovině 19. století, nebo vývoj atomové bomby. Na vývoji atomové bomby také ukazuje, jak rychlý může být sled událostí (od v podstatě teoretické možnosti v roce 1941 k hotovým bombám v roce 1945).
Druhá část díla je věnována bezpečnostním problémům, které takový vývoj přinese. Autor říká, že kdo jako první získá superinteligenci, bude mít rozhodující např. vojenskou výhodu, a může ji zneužít k podrobení ostatních. Za naprosto největší riziko autor považuje, že v tomto závodu k superinteligenci vyhraje Čína, a dojde k eskalaci již teď napjatých vztahů mezi USA a Čínou. Aktuální vývoj AI není vůbec nijak zabezpečen - výzkumníci o svých průlomech volně hovoří na párty, a získat vše potřebné běžným špionem je tak triviální. Zabezpečení výpočetní infrastruktury prý také není nic moc, a žertovně se říká, že Čína dostává každodenní souhrn nových commitů v kódu. Třetí oblastí pak je export omezeného množství AI čipů (GPU, ale také zejména rychlá paměť HBM) a vůbec stavba fabrik na pokročilou litografii křemíku. Autor opakovaně bije na poplach a opakovaně zdůrazňuje, že v tomto oboru si musí USA, příp. spojenci, udržet náskok.
Tento náskok bude podle autora potřebný i k tomu, aby byl vyřešen problém AI alignment, čili lidově řečeno, aby AI v důsledku softwarové chyby prostě nevyhladila lidstvo. Toto je stále otevřený problém (vzhledem k tomu, že superinteligenci ještě nemáme, není ho jak prakticky zkoumat); autor popisuje několik nástřelů, jak by se dal řešit. K tomu je ale potřeba mít na řešení čas: potřebujeme náskok alespoň 1-2 roky, nelze to dělat v okamžiku, kdy nám čínské laboratoře ukradly knowhow, zdrojové kódy a natrénované modely a teď nám dýchají na záda. To je další autorův argument, proč je potřeba vývoj AI lépe zabezpečit a do jisté míry utajit (velmi základně -- např. je možné publikovat veškeré informace s 1-2letým zpožděním).
V závěru se autor zamýšlí, jak takový problém řeší vlády, a opět, jak se řešil u minulých projektů s kritickou strategickou hodnotou (např. již zmíněná atomová bomba).
Další odkazy:
Dlouhý rozhovor a autorem
Reakce jiných AI vývojářů
Poznámky Petra Baudiše (zakladatele Rossum.ai)
