Je naprosto bezne v "normalnich" parserech, ze lze jako tokeny pouzivat nejaka cisla na misto plne reprezentace tokenu (puvodniho stringu). Staci se podivat jak pracuje napriklad flex a jak s necim takovym pocita nasledna syntakticka analyza -- treba bizon.
To, ze XML parsery nemaji zadne pevne zazemi a temer vse je dynamicke a nelze si delat nejaky ciselnik tokenu je castecne chyba toho, ze se povazuje za normalni parsovat XML bez toho, aby parser znal to co vlasne parsuje. Pokud by se vyzadovala definice DTD (apod.) mohl by si parser podle teto definice snadno nejake ciselniky a nejake dalsi tabulky zrychlujici parsovani pripravit.
Pochopitelne takovy parser by byl ponekud malo promiskuitni a hned tak neco by jim neproslo, ale zase by byla na urovni parseru hotova validace XML :-)
Parser XML jsem psal asi pred 3mi lety, od te doby ho pouzivam temer denne. Uz si moc nepamatuju jak funguje :-) ale urcite vim, ze by mne ani ve snu nenapadlo "tokenizovat" podle prikladu v clanku.
no vazne jsem necekal, ze to popisovane technicky efektivni reseni bude odpovidat tomu co jsem pouzil pri prepisovani dns(udp) zprav v jadernym modulu... a ze teda objevi ohen...
