Vlákno názorů k článku Co můžeme čekat od umělé inteligence? Nikdo neví, ale džin z lahve už utekl od technomaniak - Drastické přecenění situace. Za prvé je na nějaké...

Drastické přecenění situace. Za prvé je na nějaké kvalitní predikce ještě brzo neboť mediální výlevy jsou většinou spíš projevem marketingu a tlaku ze strany vývojářů ukázat vedení nějaké výsledky + tlak na získání dalších investic. Za druhé o nějaké inteligenci nemůže být ani řeč, jedná se systém pracující s informacemi(s trochou nadsázky mnohem efektivnější a přizpůsobující vyhledávač), prakticky se jedná o A.N.(artifical nerd - neboli umělý šprt). Takže to je spíš podobné šprtovi, učí se to informace a když má štěstí možná je i využije. Rozhodně to bude dost užitečné při hledání encyklopedických znalostí ale to je tak asi vše. Pravděpodobně se to bude umět i rozhodovat dle dostupných informací ale v situacích o kterých nemá informace nám bude úplně k ničemu. Stačí se zeptat na něco co nikdo neví a taky vám neodpoví, možná nabídne nějaké domněnky které někde tvz. "načetla" = velmi podobné chování šprtovi.

Lenže ono to nie je ani A.N., pretože ten šprt vie aspoň prideliť prioritu / dôležitosť určitej informácii. A aj keď sa učí frázy len naspamäť, tak do určitej miery aj tak rozumie kontextu. Dnešné LLM nerobia ani jedno.

Dnešné LLM je len chytrejšie prediktívne písanie známe zo sedemdesiatich rokov. Čo LLM robí je len:

Pri trénovaní
1. Naskenuje kopec textu a rozdelí je na chunky (tokeny)
2. každému tokenu pridelí hodnotu "ako často" sa vyskytuje po sekvencii určitých tokenov.

Následne pri generovaní odpovedí:
1. Prečíta (Naskenuje) tvoj text a rozdelí na tokeny.
2. Nájde sekvenciu tokenov vo svojom modeli.
3. Podľa častosti výskytu tokenu po danej sekvencii vybere s určitou pravdepodobnosťou nasledujúci token. Podľa temperature parametru to práve upravuje pravdepodobnosť, je to celkom primitívny matematický vzorec.
4. novú sekvenciu tokenov znova pošle do vstupu a opakuje od kroku 2. Pritom sa môže aj trénovať.
5. takto to cyklí, až to nevygeneruje odpoveď, tzv. nedosiahne limit "max new token", a potom už len primitívne upraví text (napríklad odstráni poslednú nedokončenú vetu).
6. Pošle odpoveď používateľovi.

To je úplne celé. Prediktívne písanie robí v podstate to isté, akurát to "necyklí" a nerozdelí "doplnené slovo" je odpoveď od toho čo mnohý nazývajú "AI", pritom to s inteligenciou nemá nič spoločné. Je to tak hlúpe ako prvé mechanické hodinky, a že v stredoveku z toho boli "wow" a nechápali ako sa ručička môže sama pohybovať alebo ako je možné že to ten čas dokáže merať až tak "presne". Alebo prvá žiarovka. A dnes keď sa pozrieš na princíp fungovania, tak vlastne vieš že to s inteligenciou má asi toľko spoločné ako kotúľajúci sa šuter v rieke. Absolútne tie LLM nerozumejú kontextu.

Inteligencia = schopnosť učiť sa, hľadať vzory, pochopiť, aplikovať, vytvárať abstrakcie, schopnosť prispôsobovať sa, a uvažovať/myslieť.

LLM vie ako tak robiť len a len prvú vec, aj to k tomu potrebuje vstup. Len díky tomu že v modeli je tých dát také obrovské množstvo je presnosť ako tak dobrá... precíznosť je ale stále vlastne nulová.

8. 12. 2023, 13:18 editováno autorem komentáře

> Inteligencia = schopnosť učiť sa, hľadať vzory, pochopiť, aplikovať, vytvárať abstrakcie, schopnosť prispôsobovať sa, a uvažovať/myslieť.

Můžeš dát nějaké možnosti, jak tohle objektivně ohodnotit? Co by musela splňovat krabice, u které řekneš "wow, inteligence"? A kdybych se na tuto otázku zeptal před 5 lety, neuvedl bys nějaké věci, které dnešní krabice splňují?

> Čo LLM robí je len

To se dá napsat u všeho. „Co AlphaGo/Alpha­Fold/... dělá je jen...“. Do extrému, pokud někdy pochopíme podrobněji, jak funguje biologický mozek, bude to zase „Co mozek dělá je jen...“.

8. 12. 2023, 18:54 editováno autorem komentáře

Popis trénování a generování odpovědí LLM (Large Language Models), který uvedl uživatel Mlocik97, je zjednodušený, ale zachycuje některé základní aspekty těchto modelů. Nicméně, několik důležitých bodů bylo zanedbáno nebo přehlédnuto:

1. **Složitost a Rozsah Trénování**

LLM, jako je GPT (Generative Pre-trained Transformer), jsou trénovány na obrovském množství textových dat, které zahrnují širokou škálu témat a stylů. To zahrnuje knihy, články, webové stránky a další typy textu.

Proces trénování není jen o počítání frekvence výskytu tokenů, ale o učení se složitým vzorcům, vztahům a kontextům v jazyce. Model se učí předpovídat další tokeny na základě předchozích tokenů, ale děje se to prostřednictvím velmi komplexních neuronových sítí.

2. **Deep Learning a Neuronové Sítě**

LLM využívají hluboké učení a neuronové sítě, konkrétně transformátory, což jsou pokročilé struktury, které dokážou zpracovávat dlouhé sekvence dat s vysokým stupněm složitosti.

Tyto modely se učí rozlišovat různé jazykové vzorce, gramatiku, slovní významy a dokonce i určité aspekty kontextu a jemných nuancí v jazyce.

3. **Kontextuální Porozumění**

Ačkoliv je pravda, že LLM nemají schopnost porozumění v pravém smyslu slova, dokáží efektivně využívat kontext při generování textu. To zahrnuje nejen okamžitý kontext v rámci jedné věty, ale často i širší kontext v rámci celého odstavce nebo textu.

Toto "kontextuální porozumění" je ovšem limitováno a založeno na statistických vzorcích a učení se z dat, nikoli na skutečném lidském pochopení.

4. **Generování Odpovědí**

Generování odpovědí v LLM je často komplexnější, než jen sledování pravděpodobnosti následujícího tokenu. Modely jsou trénovány, aby vyvažovaly koherenci, relevanci, a někdy i kreativitu ve svých odpovědích.

LLM také využívají mechanismy jako je "attention", které umožňují modelu lepší soustředění se na relevantní části textu při generování odpovědí.

5. **Adaptabilita a Flexibilita**

LLM jsou schopné adaptovat se na různé styly, témata a typy dotazů, což ukazuje určitou úroveň flexibilitě a schopnosti aplikovat naučené vzorce v různých kontextech.

Zatímco popis uživatele Mlocik97 správně poukazuje na některé omezení LLM, je důležité si uvědomit, že současné modely, jako je GPT-4, mají značnou složitost a schopnost generovat koherentní, relevantní a často přesvědčivé texty. Nicméně, je pravda, že tyto modely stále postrádají skutečné porozumění a inteligenci v lidském smyslu.

A tento komentář taky vygeneroval LLM?

Můžu se zeptat, jak si jako představujete onu "inteligenci"? Odkud máte své vědění vy, pokud to není to, co jste někde vyčetl, slyšel, viděl? Vždyť ty dnešní modely, se vší svou nedokonalostí, jsou to samé, jak informace sbírá člověk, a pak je zpracuje/posklá­dá/předává. Z mého pohledu to je to, čemu říkáme inteligence.

Z mého pohledu je na tom naopak krásně vidět, že velká část lidí jsou jen lepší jazykové modely. (Ty nejméně funkční poslední dobou zaplňují náměstí.) Pokud se mezi ně dobrovolně zařazujete také, vaše věc, ale nenazývejte umělou inteligencí něco, co inteligencí opravdu není.

Dokonce je hezké, že zatímco by to dříve tihle lidé brali jako urážku a osobní názor, dnes to lze porovnat přímo vedle sebe a ukázat v praxi :-D

Nejak si zapomel na jeden nepatrny aspekt, Rika se mu genetika. I kdybys novorozene zavrel do mistnosti bez podnetu, stejne zjistis, ze spoustu veci "umi". Jednoduse proto, ze mu ty schopnosti predali jeho predci.

Takovy prikladek ju? Kupodivu hned po narozeni umi najit matersky prs, vi k cemu to je a jak se to pouziva. Aniz by ho to nekdo ucil.

Co je to inteligence pak zjevne nevis. To je totiz primarne schopnost vykrocit mimo znama pravidla. Kdyz budes mit sebelepsi algoritmus, nikdy nevykroci mimo hranici kterou mu stanovis prave tim, co ho naucis. Inteligentni tvorove(coz zdaleka nejsou jen lide) to delaji.

Ale např. ty čínské AI sbírají čí budou sbírat i informace z kamer (reálného světa), otázkou je, zdali je to plus nebo mínus. Já se spíš přikláním k tomu druhému.

Problem je jinde, vyhledavac zaindexuje slova, a odkaze ti zdroje ktere ta slova obsahuji.

Nic jineho to ve skutecnosti nedela, samozrejme to aplikuje ruzne vahy, ktere ty vysledky vice nebo mene rozbiji, ale porad to nedela nic jineho.

Tohle je mnohem horsi, protoze to udela nejakou syntezu na tema kdyz hledas slova x, y, z ... ta se nejvice vyskytuji v souvislosti se slovy k, l, m ... a na zaklade toho ti to vrati jakoze nejakou odpoved, ktera klidne muze byt, a taky casto je, naprosto nesmyslna, acokoli "spravne" napsana.

Vpodstate to dela presne to cemu se rika kolaz, jen je v tom nejaka ta matika a pravdepodobnost. Lidi sou z toho uchvaceny, protoze si to snima povida, ale to si povidala i eliza.

Priklady tech nesmyslu se vali vsude kolem. Pamatuju si treba dotaz na viteze OH 98 hokej. Kde to misto prosteho vyhledani v databazi odpovidalo na zaklade nejakych pravdepodobnosti a pochopitelne uplne spatne.

"Stačí se zeptat na něco co nikdo neví a taky vám neodpoví"
Problem je spis v tom, ze odpovi. Nejakym vyse popsanym jazykove pravdepodobnostnim nesmyslem.