Názor k článku Tokenizace textu: základní operace při zpracování přirozeného jazyka od Pavel Tišnovský - Díky. Ona se tokenizace používá i s moderními...

Díky. Ona se tokenizace používá i s moderními LLM, například pro udržení rozumně velikého kontextu (protože delší kontext znamená platit víc a většinou to spíš zhoršuje odpovědi).