Názory k článku Softwarová sklizeň (21. 2. 2024): pracujte s jazykovými modely či mnoha obrázky

Jen tak pro zajímavost. Na jakém nejslabším GPU se vám podařilo rozjet nějaké LLM? Používám staré MSI s GTX960M a 16GB RAM jako server a byl jsem překvapen, že to vůbec něco dává. Nicméně např. prompt na Llama2-7b "Please create responsive HTML page", trvá 3-4 minuty.

21. 2. 2024, 07:11 editováno autorem komentáře

Divné.
Puvodni llama13b (ne v tomhle GUI) jede i na starém CPU (nějake P4), nejvíc času zabere načtení modelu (tak půl minuty, záleží na RAM jestli to neswapuje), samotné generování pár sekund na token (slovo).

Edit: Alespoň na prvotní test si stáhni starý dobrý dalai https://github.com/cocktailpeanut/dalai ať vyloučíš další problémy.

22. 2. 2024, 08:50 editováno autorem komentáře

MeGit - zkousel jsem, ale neco se mi na tom nelibilo. Uz si nepamatuju co. Takova anketa jake GUI pouzivate pro git by se hodila. Potrebuju sem tam neco doporucit BFUckam a nikdy nevim co zvolit. A nejlepe aby to bylo stejne na linuxu i windows, protoze pak necemu nerozumi a ja musim pomahat.

Používám to co je v Intellij IDEA. Hodilo by se něco kvalitního stand-alone co pokryuje i práci s diff/patch soubory a mergem, ale zatím jsem nenašel :)

U nas v praci jedou BFU Fork a celkem to funguje.

Jen Win plus Mac. Ale vypada to velmi dobre. Dokonce i diff na obrazky.
Vtipna je diskuze k pozadavku behu v linuxu, ktera se malem zvrhla v lamentovani nad pametovou nenazranosti GitKrakenu.

Na tu diskuzi kouknu. Nicméně jak jsem to pochopil ze seznamu autorů, tak on dělá UI v Cocoa a jeho žena ve WPF. Tzn. pro Linux se musí udělat UI od nuly.

24. 2. 2024, 14:24 editováno autorem komentáře

GIT je i ve VS Code, ale mně se po čase rozbije a řeším to v TortoiseGIT.

Mě zatím žádné GUIčko nezlákalo natolik, abych opustil CLI s cca 10 aliasy na nejpoužívanější akce.

Možná je to tím, že v GITu nejedu raketovou vědu, ale jen starý dobrý vývoj.