Tohle jsou ale 2 naprosto rozdílné problematiky dohromady. Jedna je, kde ten model běžet, a u client side i celkem velké modely mohou běžet na rozumném kompu (viz ono GPT4all. I když na větší modely to chce víc RAM, ale dost by se asi dalo optimalizovat.)
Ten větší problém je, jak ten model vytvořit. Tam jednak potřebujete obrovský výpočetní výkon (a to brutálně), no a i když ho máte, tak taky na čem ho učit/doučit. Třeba i Grok přiznává (stejně jako spousta těch open source modelů), že jsou učené z velké části na datech z ChatGPT - což je mimochodem důvod, proč jsou tak neskutečně woke.
Ale i jen rozumný fine-tuning nějakého existujícího modelu by byl zajímavá, pokud by běžel samozřejmě client-side a poskytoval to, co člověk chce.