Vlákno názorů k článku
Raspberry Pi má nový AI HAT+ s výkonem až 26 TOPS od dustin - Je na ty AI akcelerátory v linuxu nějaké...

Je na ty AI akcelerátory v linuxu nějaké standardizované rozhraní, nebo má každý výrobce vlastní chain ovladač -> userspace knihovny?

Existuje nějaké linuxové rozhraní (https://docs.kernel.org/accel/introduction.html), ale zatím tam vidím drivery jenom od tří firem a přijde mi že to nejsou úplně hlavní hráči. Takže spíš to je dost bída.
Já se na to koukal před časem, protože mě zajímalo jestli se na tomhle Hailo-8 dá počítat i něco "vlastního" (použít to ne na AI, ale na nějaké jiné výpočty) a přišlo mi že moc nedá...

Možná (určitě) dotaz totálně mimo, ale chápu dobře, že
00:08.0 System peripheral: Intel Corporation 12th Gen Core Processor Gaussian & Neural Accelerator (rev 02)
je NPU v Alder Lake Intelu? A pokud ano, tak z toho, že podpora pro něj není? Nebo jsem jen slepej, a hledal špatně? (koukal jsem koncen léta, kdy byla poslední 6.10)

To vypada ze mas moc starej HW.. 12th gen? pche.. to vyhod :D

Na tyhle NPU existuje userspace driver:
https://github.com/intel/linux-npu-driver/blob/main/docs/overview.md

A pak se to pouziva skrze OpenVINO (framework):
https://github.com/openvinotoolkit/openvino/tree/master/src/plugins/intel_npu

Tak byl to nejlepší kompromis rychlost/cena při nečekaném upgradu (začala odcházet deska pod gen9 i5, která v podstatě všem hrám stačila) ;-)

díky za odkazy, to jsem potřeboval vědět.

Na vlastni vypocty spis GPU. Treba pres OpenCL.

NPU neni na vypocty, ale pro AI inferenci = deployment natrenovaneho modelu.