Názory k článku
Apple představil malé jazykové modely, vhodné do telefonu

Sice chápu, že vše není jen o počtu parametrů, ale pokud "OpenELM je natrénováno s 270 milióny až 3 miliardami parametrů" a "GPT-3 z roku 2020 pak měl 175 miliard parametrů", vzhledem k tomu, že i ChatGPT 3.5 je pro vážnou práci prakticky nepoužitelný by mě zajímalo, co přesně si od OpenELM Apple slibuje. Má poskytovat nějaké funkce, kde to nevadí?

Na nějakou složitější představivost to není ale na zpracování dat jsou skvělé, obzvlášť pokud se vejdou do GPU/NPU kvůli rychlosti. Například extrakce tabulkových dat z volně psaného textu, OCR, context-aware klasifikace obsahu (textu i obrazu) atd.

Moderní malé modely (7B) jsou překvapivě schopné a někde úplně jinde než jejich pradávní (před rokem :-) stejně velcí předchůdci. Hodně se pokročilo v alokaci parametrů, klasické staré modely (llama) měly většinu "inertních", tj. bez velkého vlivu na výsledný vektor, a to jak v embedding maticích tak v neuronových. Dnešní 8B llama3 ve všech metrikách překonává loňskou 70B llama2.

Největší volně dostupné modely (mixtral, databricks a pod.) s nějakými 130-140 miliardami parametrů budou zanedlouho prohrávat souboje s modely desetkrát menšími.

Open-source jako nový trendy buzzword? Nebo proč chce každý dělat "open-source", aniž by dělal Open-source?

Pořád lepší, když jsou zdrojové kódy dostupné omezeně, než když nejsou dostupné vůbec.

Záleží jak moc omezeně. Nevím, mě se to nechce číst. Radši mám licence, z kterých nekouká podraz.
Můžete se v tom kódu inspirovat, nebo pak vám může přijít pozvánka k soudu? Možná lepší ten kód nečíst.

Zrovna s tou „inspirací“ to je dost podobné i u skutečně svobodného software - pokud se „inspiruješ“ tak, že vytvoříš odvozené dílo, tak v případě nakažlivých licencí jako GPL pak musí být pod kompatibilní licencí; v případě MIT pak musíš alespoň uvést autora. Pokud odvozené dílo nevytvoříš tak je to IANAL jedno i u této nesvobodné licence.

A úplně dalším minovým polem jsou patenty, zejména pokud se s tím nějak dostaneš do USA.

Co teto licenci chybi k open-source nebo k svobode?

Z meho pohledu nic. Kod muzes pouzit, reprodukovat, modifikovat. Nesmis pri tom spominat Apple nebo pouzivat jeho loga nebo jmeno. Kdyz to distribuujes cele jak to dodali, tak musis uvadet i tu licenci.

Ta licence je opravdu kratka, da se precist, taky jsem z toho mel strach a klikl na ni az pred chvilkou a cekal jsem 50strankovy pravni dokument, ale je to cca 380 slov.
Nejsem pravnik, takze se mohu mylit, ale nezda se mi, ze by z ni koukal podraz.

Je to hezká cedulka ve smyslu "nepatřím korporátům s tim, že rozhoduje komunita..."

Je to stejné jako cedulka "parlamentu", uvnitř lunapark s komediálním kabaretem pro tv.

V prvom rade by bolo potrebné mať v telefónoch skutočné AI chipy (iPhone ani Android ich nemajú... )

Kefalín, čo si predstavujete vy pod takým: "AI čip"?

Co jsou "skutečné" AI chipy? Většina mobilů z posledních let má NPU (Pixely mají SoC Tensor s NPU edgeTPU, iPhone má Neural Engine, Samsung má Exynos NPU, atd) a intenzivně je využívají pro úpravu fotek a videa, rozpoznávání textu, řeči, osob a věcí (mnohem rychleji než by trval round-trip do datacentra a zpět), Apple dělá on-device CSAM prevenci atd.

I velmi levné čipsety od firem jako Rockchip nebo Allwinner, které se používají pro různé linuxové desky a NASy, mají NPU schopné inferenci malých modelů (jednotky miliard parametrů). Na RK3588 NASu mám takto udělanou klasifikaci fotek (automatický binning podle kvality a tagování osob podle tváře v galerii Immich) a je to rychlé jak desktop, akorát se to vejde do deseti wattů i s disky :-)

Dá se o tom využití NPU v RK3588 v Immichu někde dočíst? Díky moc.

Ale to su všetko výnimky ... v bežných Androidoch a iPhonoch to nieje ...

To je asi aspekt, co se bude časem mění podle zastoupení různých čipů, ne? Pokud pominu low-end, tak v posledních letech s tím většina SoC napříč různými výrobci počítá. U Apple byl jejich první akcelerátor Neural engine v iPhone X (2017), všechny aktuální Apple Silicon Mx čipy (uvedené 2020) do notebooku a stolních počítačů to mají také. Totéž Intel s čipy, co obsahují jejich NPU.
Zmíněné Exynosy od Samsungu to mají samozřejmě také (od S10 z roku 2019), žádná extra novinka.
Prakticky se to poměrně často využívá na automatické úpravy výstupu z foťáku, skládání z více čipů, odšumování, umělou hloubku ostrosti, stabilizaci atd. Děje se to na pozadí, před tím než se fotka nebo video uloží. Samozřejmě i různá FaceID, rozpoznávání a klasifikace obrazu. Ale to samozřejmě neznamená, že by to nešlo použít na jiné úlohy.
Samozřejmě pokud bude nějaký 3rd party výrobce aplikací tyhle NPU používat, tak musí řešit na kolika koncových zařízeních to aktuálně poběží a s jakým výkonem. Nicméně si spíš myslím že do pár let bude spíš výjimka, když někdo bude používat mobil, tablet či notebook, co tohle mít nebude.
Plus svou roli samozřejmě hraje i fakt, že většina nadšenců do těchhle technologií spíš častěji mění zařízení (resp. jsou je ochotni vyměnit, pokud to umožní nějakou další funkcionalitu) a nekupují je jen podle cenovky.

28. 4. 2024, 14:03 editováno autorem komentáře

Jak výše zmíněno, všechny iPhony a Macy to mají už mnoho let, Samsungy, Pixely taky. Že to nemá Android za 3 tisíce s 6 let starým procesorem, to nikoho netrápí. Nevím jak dnes, ale levné Androidy neměly ani enkodování videa (jen dekódování), takže při nahrávání videa vytížily většinu jader CPU a nedalo se nic dělat. Mimochodem, WIndows 12 myslím vyžaduje NPU, takže nové CPU Intel a AMD jej přidaly (i když původně chtěli zvýšit výkon iGPU).