Názory k článku
Raspberry Pi má nový AI HAT+ s výkonem až 26 TOPS

Jsem jediny komu prijde divny, ze nejaky noname AI akcelerator zaziva "boom" ? To ma takovej startup dost penez tohle tlacit kudy to je mozny? nebo to ma i nejake prakticke vyuziti?

Dnesni doba je fakt divna.. jedna rychlokvaska za druhou, jen aby si udelali pani zarez.. ale dlouhodoby vyhled je velice marnej.

Teleshopping like its 2024 :D

Mě to nijak nepohoršuje, ale zas nevylučuju, že jsem divnej já :)

O tom Hailo jsem slyšel už před min 5 lety, vypadá to, že se chytli. A tyhle malé ad-on akcelerátory mi vcelku zapadají do primárního cílového segmentu pro RPi (blbnutí, zkoušení, výuka, domácí lab). Koneckonců můžeš do Pi zapojit kameru přes MIPI, zpracovávat si z ní signál nějakým CV algoritmem, dělat detekce, klasifikace a ještě pak z Pi rovnou podle výsledků něco dalšího řídit přes různá rozhraní.
https://github.com/hailo-ai/hailo-rpi5-examples

Navíc posledních pár let mají NPU jednotky skoro všechny SoC do mobilů a tabletů, nové generace CPU taky, tak počítám, že se zvedne zájem lidí si s něčím podobným hrát.. Pokud bude zároveň také k dispozici rozumně zdokumentovaný čip s ovladači, co budou šlapat s rozšířenými knihovnami, frameworky a modely (nezkoumal jsem to Hailo 8 moc intenzivně ale počítám, že tam cíli), tak to má asi relativně dost šancí uspět. Navíc to vypadá, že to má v tomhle segmentu i velmi dobrý výkon vzhledem k ceně spotřebě.
Ale dodávám.. nedělal jsem si nějaké osobní srovnání, vycházím ze srovnávacích článků o M.2 modulech s jejich čipy.

25. 10. 2024, 02:41 editováno autorem komentáře

Je na ty AI akcelerátory v linuxu nějaké standardizované rozhraní, nebo má každý výrobce vlastní chain ovladač -> userspace knihovny?

Existuje nějaké linuxové rozhraní (https://docs.kernel.org/accel/introduction.html), ale zatím tam vidím drivery jenom od tří firem a přijde mi že to nejsou úplně hlavní hráči. Takže spíš to je dost bída.
Já se na to koukal před časem, protože mě zajímalo jestli se na tomhle Hailo-8 dá počítat i něco "vlastního" (použít to ne na AI, ale na nějaké jiné výpočty) a přišlo mi že moc nedá...

Možná (určitě) dotaz totálně mimo, ale chápu dobře, že
00:08.0 System peripheral: Intel Corporation 12th Gen Core Processor Gaussian & Neural Accelerator (rev 02)
je NPU v Alder Lake Intelu? A pokud ano, tak z toho, že podpora pro něj není? Nebo jsem jen slepej, a hledal špatně? (koukal jsem koncen léta, kdy byla poslední 6.10)

To vypada ze mas moc starej HW.. 12th gen? pche.. to vyhod :D

Na tyhle NPU existuje userspace driver:
https://github.com/intel/linux-npu-driver/blob/main/docs/overview.md

A pak se to pouziva skrze OpenVINO (framework):
https://github.com/openvinotoolkit/openvino/tree/master/src/plugins/intel_npu

Tak byl to nejlepší kompromis rychlost/cena při nečekaném upgradu (začala odcházet deska pod gen9 i5, která v podstatě všem hrám stačila) ;-)

díky za odkazy, to jsem potřeboval vědět.

Na vlastni vypocty spis GPU. Treba pres OpenCL.

NPU neni na vypocty, ale pro AI inferenci = deployment natrenovaneho modelu.