Názor k článku Základy práce s grafickou plochou v jazyku Basic-256 od Pavel Tišnovský - To je v pohodě, dneska se to totiž...

To je v pohodě, dneska se to totiž už tak často nepoužívá.

Například zrovna ten zmíněný Atari BASIC provádí tokenizaci hledáním klíčových slov, operátorů atd. na právě zadaném programovém řádku - Ihned po zápisu každého řádku se provádí takzvaná tokenizace, která nahradí jednotlivé konstrukce jazyka osmibitovými kódy. Příkladem může být tokenizace tohoto programového řádku:


10 LET X=1 : PRINT X


V operační paměti tento kód není uložen (pouze v bufferu textového editoru, odtud je však ihned poté přemazán). Namísto toho se uloží sekvence bajtů s následujícím významem:

Sekvence bajtů     Stručný popis
A0 00
13  délka celého tokenizovaného řádku (19 bajtů)
0F  offset konce prvního příkazu
06  token příkazu LET
80  index proměnné X
2D  token operátoru =
0E  následuje numerická konstanta
40 01 00 00 00 00   takto vypadá zakódovaná hodnota 1 (na začátku je exponent)
14  konec (prvního) příkazu
13  offset konce druhého příkazu
20  token příkazu PRINT
80  index proměnné X
16  značka EOL pro konec řádku

Trošku to rozepisuji tady:
https://www.root.cz/clanky/programovaci-jazyky-pouzivane-na-platforme-osmibitovych-domacich-mikropocitacu-atari/#k06