Vlákno názorů k článku
Apple představil malé jazykové modely, vhodné do telefonu od My name: - V prvom rade by bolo potrebné mať v...

V prvom rade by bolo potrebné mať v telefónoch skutočné AI chipy (iPhone ani Android ich nemajú... )

Kefalín, čo si predstavujete vy pod takým: "AI čip"?

Co jsou "skutečné" AI chipy? Většina mobilů z posledních let má NPU (Pixely mají SoC Tensor s NPU edgeTPU, iPhone má Neural Engine, Samsung má Exynos NPU, atd) a intenzivně je využívají pro úpravu fotek a videa, rozpoznávání textu, řeči, osob a věcí (mnohem rychleji než by trval round-trip do datacentra a zpět), Apple dělá on-device CSAM prevenci atd.

I velmi levné čipsety od firem jako Rockchip nebo Allwinner, které se používají pro různé linuxové desky a NASy, mají NPU schopné inferenci malých modelů (jednotky miliard parametrů). Na RK3588 NASu mám takto udělanou klasifikaci fotek (automatický binning podle kvality a tagování osob podle tváře v galerii Immich) a je to rychlé jak desktop, akorát se to vejde do deseti wattů i s disky :-)

Dá se o tom využití NPU v RK3588 v Immichu někde dočíst? Díky moc.

Ale to su všetko výnimky ... v bežných Androidoch a iPhonoch to nieje ...

To je asi aspekt, co se bude časem mění podle zastoupení různých čipů, ne? Pokud pominu low-end, tak v posledních letech s tím většina SoC napříč různými výrobci počítá. U Apple byl jejich první akcelerátor Neural engine v iPhone X (2017), všechny aktuální Apple Silicon Mx čipy (uvedené 2020) do notebooku a stolních počítačů to mají také. Totéž Intel s čipy, co obsahují jejich NPU.
Zmíněné Exynosy od Samsungu to mají samozřejmě také (od S10 z roku 2019), žádná extra novinka.
Prakticky se to poměrně často využívá na automatické úpravy výstupu z foťáku, skládání z více čipů, odšumování, umělou hloubku ostrosti, stabilizaci atd. Děje se to na pozadí, před tím než se fotka nebo video uloží. Samozřejmě i různá FaceID, rozpoznávání a klasifikace obrazu. Ale to samozřejmě neznamená, že by to nešlo použít na jiné úlohy.
Samozřejmě pokud bude nějaký 3rd party výrobce aplikací tyhle NPU používat, tak musí řešit na kolika koncových zařízeních to aktuálně poběží a s jakým výkonem. Nicméně si spíš myslím že do pár let bude spíš výjimka, když někdo bude používat mobil, tablet či notebook, co tohle mít nebude.
Plus svou roli samozřejmě hraje i fakt, že většina nadšenců do těchhle technologií spíš častěji mění zařízení (resp. jsou je ochotni vyměnit, pokud to umožní nějakou další funkcionalitu) a nekupují je jen podle cenovky.

28. 4. 2024, 14:03 editováno autorem komentáře

Jak výše zmíněno, všechny iPhony a Macy to mají už mnoho let, Samsungy, Pixely taky. Že to nemá Android za 3 tisíce s 6 let starým procesorem, to nikoho netrápí. Nevím jak dnes, ale levné Androidy neměly ani enkodování videa (jen dekódování), takže při nahrávání videa vytížily většinu jader CPU a nedalo se nic dělat. Mimochodem, WIndows 12 myslím vyžaduje NPU, takže nové CPU Intel a AMD jej přidaly (i když původně chtěli zvýšit výkon iGPU).