Vlákno názorů k článku Faust: platforma pro proudové zpracování dat v Pythonu od koska - Mohl by někdo nastínit kde se tohle vlastně...

Mohl by někdo nastínit kde se tohle vlastně typicky používá?
Dalo by se to použít pro sběr měřených dat do databáze, řízení technologie operátorem a online vizualizaci měřených a počítaných veličin uživatelem? Je tohle ten správný use case?

faust samotný nevím, nepodařilo se nám ho naučit neztrácet data a nepřeskakovat offsety.

Obecně zpracování streamu přes kafku je vhodná tam, kde nepotřebuji zpracování dělat synchronně a je pro mě důležité mít všechno. Kafka levně věci uloží a pak podle vnitřní kapacity se zpracují. Obsloužíš i špičky, které mohou mít řádově vyšší provoz a zátěž rozložíš v čase.

Kde používáme kafku my? Replikace dat mezi databázemi, zpracování a ukládání logů, zpracování metrik z mobilních aplikací nebo senzorů.

Zároveň chce upozornit, že Kafka není vhodná tam, kde mám nízké SLA na čas zpracování konkrétní zprávy (což pro řízení procesů může být) nebo musím zprávy obsloužit v přesně daném pořadí. Nesmí to prostě vadit mít klidně hodinové latence a předbíhající se zprávy. Stejně tak není vhodná pro doručování zpráv na klientské zařízení (tj. nedělej z toho frontu notifikací).

U nas se Kafka používá pro přenos transkakcí mezi hlavním clusterem (jeden produkt) do dalšího produktu (clusteru), kde se ukládají dlouhobě v jiném formátu a pro případné náhledy, budou-li zavolány.

Kafka zarucuje poradi zprav u temat s jednim oddilem. Tam problem neni (pro vic oddilu samozrejme uz jo, ale to je by design).

Spis je obecne problem s resenim at-least-once, at-most-once, ale maji vsechny distribuovane systemy ;)

nj. ale jeden oddíl tak nějak neškáluje na straně producentů a konzumentů, v podstatě tím zabiješ hlavní výhodu kafky a to je levné škálování.

To ano, ale to naštěstí je řešitelné a je to spíše varování pro to, jak máš dělat konzumaci dat z kafky.

Mě daleko víc trápí to, že příliš logiky je na klientech a musíš je mít pod kontrolou a vytvořit nějakou bránu, která nad tím dělá fasádu, třeba tady zmíněný faust.