Názor k článku evitaDB: představení rychlé in-memory databáze pro e-commerce od Mintaka - Držím palce, při vývoji. Pro mě je potěšující, že...

Držím palce, při vývoji.

Pro mě je potěšující, že podobné cestičky jsem prošlapával v Pythonu před 20 roky, kdy jsem jako "one man show" vyvíjel aplikaci pro autoservisy a prodejce autodílů. Výchozí sada cca 2,5 mil. produktů, stovky výrobců, desítky dodavatelů, nekonečný proud ceníků...

Podkladová databáze byla MySQL s cca 40 tabulkami + několika tabulkami postavenými atributově a záměrně porušujícími všechny normalizační formy, aby to zachránily, jinak by těch tabulek byly stovky.

In-memory znamenalo vejít se do pár GB RAM, takže žonglování s tím, co tam pro jakou fázi zpracování dat držet.
Výkon HW z dnešního pohledu komický, pro urychlení načítání dat z DB vyšla nejlépe serializace do .temp souborů s hlídáním, kdy je nutné je zahodit a sestavovat znovu z DB.
Nebylo Alchemy, tak pomohla vlastní vrstva objektově-relačního mapování, nebyla ani CSV knihovna, které by uměla pořádně UTF8, takže vlastní zpracování, nebylo Pandas, tak pěkně vlastní knihovna pro práci s dvourozměrnými poli,...
Se ážitky s hrůzami co byly ve vstupních datech od polských dodavatelů bych mohl mohl strašit psychology dodnes.

Ale když se to po půl roce intenzivního kódění podařilo uschopnit , tak to co se jim ve Visual Basicu zpracovávalo 3 dny v kuse, tak na to najednou stačilo 10 minut. Takže zrychlení cca 400%.