Americký NIST (National Institute of Standards and Technology) pracuje na open source nástroji Dioptra již od roku 2022. V pátek 26. července pak vyšla alpha verze. Dioptra testuje bezpečnost ML modelů. Původně byla vytvořena pro AI kategorizující obrázky, ale může být adaptována například také pro rozpoznávání hlasu.
Dioptra má testovat bezpečnost AI v jedné ze tří kategorií: poisioning, evasion a oracle. V případě poisioning přidáte do obrázku k trénování nějaký umělý prvek a to AI zmate. V případě evasion se testovaný obrázek změní, například přidáním šumu nebo umělého objektu a opět zmatete AI. Oracle je pak postup reverzního inženýrství, kdy se útočník snaží získat informace o natrénovaných datech.
Zdrojové kódy jsou na GitHubu a nástroj je napsán převážně v Pythonu. Budete také patrně potřebovat datasety, ty jsou na stránkách NIST.
(zdroj: slashdot)
