Věda a výzkum

Dnes si vysvětlíme algoritmy pro vektorizaci jazykového korpusu, což je proces, při kterém se z jednotlivých textových dokumentů (každý dokument je představován řetězcem) konstruuje matice s numerickými hodnotami.

V červenci jsme informovali, že umělá inteligence Google si celkem dobře vedla v Mezinárodní matematické olympiádě. Například v testu GSM-8k dosahují LLM běžně 96% úspěšnosti.  Společnost EpochAI vyvinula nový matematický test pro AI s názvem…

V článcích o scikit-learn jsme se zabývali zpracováním a predikcí numerických dat. Ovšem v praxi je zapotřebí pracovat i s dokumenty psanými v přirozeném jazyce. I v takových případech najde scikit-learn své využití.

CEO OpenAI Sam Altman ve středu oznámil novou doménu chat.com pro ChatGPT. Zajímavé je, jak se k lukrativní doméně dostal. Dharmesh Shah koupil doménu na začátku roku 2023 za 15,5 miliónů dolarů. Tu poté prodal za neupřesněnou částku právě OpenAI…

Vysvětlíme si, jak jsou tenzory uloženy v paměti počítače nebo TPU. Taktéž si ukážeme získání pohledu (view) na tenzor a následně si popíšeme i různé operace, které je možné s tenzory provádět jako s celkem.

Začneme se zabývat knihovnou PyTorch, která je poměrně intenzivně využívána v oblasti strojového učení (machine learning) a zejména pak hlubokého učení (deep learning).

Jak jsme tu psali, OFF Radio Kraków propustilo své hlasatele a pokusně vysílalo výhradně pomocí tří AI. Experiment měl podle slov šéfa rozhlasu původně trvat tři měsíce. Ovšem po negativních reakcích posluchačů byl ukončen již po týdnu. Bývalý…

Objevování největších prvočísel fascinujícím způsobem spojuje vědu, technologie a komunitu. Dnes se zaměřujeme na jejich hledání pomocí distribuovaných výpočtů, do kterých se může zapojit každý.

Nově vydaný velký jazykový model Claude 3.5 Sonnet umožňuje ovládat aplikace v počítači. Funkcionalita se jmenuje computer use a je v betaverzi. Computer use je postavený na jednoduchém protokolu, kdy model ovládá klientskou aplikaci pomocí…

Prozkoumáme, jaký vliv mají hyperparametry modelů MLPRegressor i MLPClassifier na kvalitu natrénované neuronové sítě. Budeme přitom sledovat interní stav velmi jednoduché sítě s pouhými třemi neurony.

Popíšeme si aktivační funkce, které lze vybrat při konstrukci neuronových sítí. Taktéž se zmíníme o možnosti výběru algoritmů použitých při tréningu neuronových sítí a jejich vlivu na kvalitu výsledků.

V Nature Scientific Reports vyšel článek, který zabývá využitím malých větrných turbín v datovém centru. Turbíny zachycují energii z proudu vzduchu od chladících ventilátorů. Podle článku ventilátory spotřebují 336,39 MWh ročně, zatímco větrné…

Algoritmus mravenčí kolonie patří do rodiny pravděpodobnostních optimalizačních algoritmů zaměřených na hledání cest v grafech. Je pokusem napodobit chování mravenčí kolonie při hledání co nejkratší cesty k potravě.

Ukážeme si jeden ze způsobů rozpoznání rastrových obrázků. Použijeme obrázky s rozlišením pouze 8×8 pixelů, které lze reprezentovat vektorem s 64 prvky. Takto krátké vektory můžeme využít pro trénink různých modelů.

Nové vydání k vizualizaci zřetězeného zpracování instrukcí (pipeline) a činnosti vyrovnávacích pamětí (cache) přidává predikci skoků a její vizualizaci (Branch target Buffer, Branch History Buffer, Global History Register). Prediktor implementoval…

Budeme se opět zabývat neuronovými sítěmi. Ukážeme si změnu topologie neuronové sítě provádějící regresi, ale například i použití takzvané matice záměn (confusion matrix). Nakonec neuronovou síť naučíme malou násobilku.

Dnes si ukážeme, jak vytvořit neuronovou síť s volitelným počtem skrytých vrstev, naučit tuto síť řešit zvolený problém s využitím sady trénovacích dat a následně tuto síť použít nad další sadou (validačních) dat.

Dmitry Grinberg před dvanácti lety nabootoval Linux na osmibitovém mikrořadiči AVR. Nyní se rozhodl posunout laťku ještě dál, tedy spíše zpět. Nabootoval Debian na čtyřbitovém procesoru Intel 4004, což je zároveň vůbec první mikroprocesor na…

Ony ty AutoEncoder modely jsou na první pohled sice jednoduché, ale jejich využití je dost zajímavé. Jednou z oblastí využití je tzv. Anomaly Detection (někdy také Outlier Detection).

Často se setkáme s datovými sadami, které obsahují velké množství atributů. Většinou ovšem dopředu nevíme, které z nich má smysl použít pro trénink modelu a které atributy jsou naopak zbytečné či dokonce nevhodné.

Čtyři vědci zveřejnili formální důkaz [PDF], že nový deterministický generátor náhodných bitů (DRBG) v Linuxu je bezpečný. Konkrétně to znamená, že počet dotazů, které by bylo třeba provést, aby se odhalil jeho vnitřní stav, závisí na kvalitě…

Společnost OpenAI ve čtvrtek představila svůj jazykový model „Strawberry“ a tvrdí, že oproti předchozím velkým jazykovým modelům (LLM) výrazně zlepšila schopnosti, které nazývá „uvažováním“ a řešením problémů. Rodina modelů s formálním názvem…

Získání validních dat pro učení může být někdy velice pracné (obvykle jsou potřeba nějací odborníci, kteří data správně klasifikuji), a někdy získání takových dat může být úplně nereálně (z finančních nebo organizačních důvodů).

Výzkumníci z Virtuals Protocol vytvořili AI MarioVGG (Virtual Game Generation), která dokáže vytvořit video hru jen podle videa, v tomto případě Super Mario Bros.  Dataset s obrázky ze hry je dostupný na GitHubu. Obsahuje přes 700 tisíc obrázků…

Tímto příspěvkem bych chtěl volně navázat na předchozí články zabývající se klasifikací obrázků do několika tříd. V těch dřívějších článcích se jednalo o rozpoznání zápalu plic na základě RTG snímků.

Ještě jednou se vrátíme k modelu pro lineární regresi. S ním jsme se již setkali, ovšem ve skutečnosti je i zdánlivě jednoduchý koncept lineární regrese realizován tak, že ho lze využít mnoha dalšími způsoby.

Budeme se zabývat důležitou problematikou, konkrétně jak vybrat co nejvhodnější model, jak nastavit hyperparametry modelů a jak vlastně zjistit, které atributy se mají použít při tréninku modelu.

V San Franciscu mají autonomní auta bez řidiče Waymo, která slouží jako taxi. Tato auta zaplňovala parkoviště v blízkosti obytných budov a přitom na sebe navzájem troubila. Troubení dosahovalo vrcholu vždy kolem 4 hodin ráno. Obyvatelé si…

Dokončíme popis problematiky modelů provádějících regresní analýzu. Ukážeme si, jak tyto modely natrénovat, jak zjistit, které atributy způsobují špatné předpovědi modelu i to, jak zjistit atributy způsobující nestabilitu předpovědí.

Na článek, v němž jsme se zabývali základní problematikou modelů provádějících klasifikaci dat, dnes navážeme. Ukážeme si jeden z modelů, jenž namísto klasifikace provádí regresi. Jedná se o model lineární regresní analýzy.