Názory k článku Tokenizace textu: základní operace při zpracování přirozeného jazyka

Ďakujem za článok. Tokenizáciu a vyhľadávanie informácii sme robili v rámci semestrálky na škole pre SAV.

Teším sa na ďalšie diely, toto je staré dobré old school spracovanie jazyka.

Vůbec to není old-school. Naopak se jedná o subword-based tokenizaci, která se objevila v NLP v posledních cca 12 letech v souvislosti s neuronovými sítěmi a je to tokenizace používaná u (nejen) generativních modelů. Algoritmy pro tokenizaci se vyvíjely, ale podstata zůstala stejná - získat slovník subword tokenů zadané veikosti, které maximalizují kvalitu modelu. tiktoken je knihovna od OpenAI.

přesně tak, díky za doplnění

Ok diky za upozornenie, musím si pozrieť, v čom je to nejak iné oproti tomu, čo sme robili, sme sa tam nejak drbali s morfémami a riešili, že v Slovenčine sa slová stále menia.

Toto bude asi niečo kind of novšie s lepším prístupom. Aj hento si musím oprášiť, ak nájdem, kde mám strčené materiály.

jo pro nektere jazyky je to slozitejsi. Paradoxne je to trivialni v pripade cinstin, tam moc slova neohybaji. Ale nehledej za tim raketovou vedu, pri konstrukci slovniku tokenu se moc nedivaji na jazyk, jen na frekvenci sekvence znaku (AFAIK).

Což si mohou dovolit u těch LLM modelů, protože ty si kontext a význam koncovek "odvodí" statisticky. Tradiční zpracování by s tím u našich jazyků pořád mělo problém.

Díky. Ona se tokenizace používá i s moderními LLM, například pro udržení rozumně velikého kontextu (protože delší kontext znamená platit víc a většinou to spíš zhoršuje odpovědi).

Super, na NLP se těším.
Pro začátečníky by se mohlo hodit několikrát zdůraznit, že pokud chcete sami tokenizovat, ale pak použít již existující váhy modelů (předtrénované modely), pak si nemůžete vybrat tokenizátor jaký chcete. Každý model může využívat jiný tokenizer a je důležité použít ten správný (jak je zmíněno až v částech 13 a 17).
Asi jediné užitečné speciálně na tiktokenu je, že si můžete předem spočítat kolik vás bude stát zpracování textu přes API openai, neboť tam se platí právě za token.