Názory k článku Faust: platforma pro proudové zpracování dat v Pythonu

Mohl by někdo nastínit kde se tohle vlastně typicky používá?
Dalo by se to použít pro sběr měřených dat do databáze, řízení technologie operátorem a online vizualizaci měřených a počítaných veličin uživatelem? Je tohle ten správný use case?

faust samotný nevím, nepodařilo se nám ho naučit neztrácet data a nepřeskakovat offsety.

Obecně zpracování streamu přes kafku je vhodná tam, kde nepotřebuji zpracování dělat synchronně a je pro mě důležité mít všechno. Kafka levně věci uloží a pak podle vnitřní kapacity se zpracují. Obsloužíš i špičky, které mohou mít řádově vyšší provoz a zátěž rozložíš v čase.

Kde používáme kafku my? Replikace dat mezi databázemi, zpracování a ukládání logů, zpracování metrik z mobilních aplikací nebo senzorů.

Zároveň chce upozornit, že Kafka není vhodná tam, kde mám nízké SLA na čas zpracování konkrétní zprávy (což pro řízení procesů může být) nebo musím zprávy obsloužit v přesně daném pořadí. Nesmí to prostě vadit mít klidně hodinové latence a předbíhající se zprávy. Stejně tak není vhodná pro doručování zpráv na klientské zařízení (tj. nedělej z toho frontu notifikací).

U nas se Kafka používá pro přenos transkakcí mezi hlavním clusterem (jeden produkt) do dalšího produktu (clusteru), kde se ukládají dlouhobě v jiném formátu a pro případné náhledy, budou-li zavolány.

Kafka zarucuje poradi zprav u temat s jednim oddilem. Tam problem neni (pro vic oddilu samozrejme uz jo, ale to je by design).

Spis je obecne problem s resenim at-least-once, at-most-once, ale maji vsechny distribuovane systemy ;)

nj. ale jeden oddíl tak nějak neškáluje na straně producentů a konzumentů, v podstatě tím zabiješ hlavní výhodu kafky a to je levné škálování.

To ano, ale to naštěstí je řešitelné a je to spíše varování pro to, jak máš dělat konzumaci dat z kafky.

Mě daleko víc trápí to, že příliš logiky je na klientech a musíš je mít pod kontrolou a vytvořit nějakou bránu, která nad tím dělá fasádu, třeba tady zmíněný faust.

ten perexovy obrazek tvorila AI? Apache Kafka je pojmenovana po Franzi Kafkovi, ne po ptakovi ;)

Ale toto na tej knihe tiez nie je Franz Kafka, ale vtak :-)
https://www.amazon.com/Kafka-Definitive-Real-Time-Stream-Processing/dp/1491936169

jo to mě kdysi překvapilo (mám PDF té knížky), ale kavka to podle všeho není. Píšou tam: The animal on the cover of Kafka: The Definitive Guide is a blue-winged kookaburra (Dacelo leachii). It is part of the Alcedinidae family and can be found in southern New Guinea and the less dry area of northern Australia.

Takže podle všeho nějaká jiná potvora, která se u O Reillyho vyskytla. Ale bylo by pěkné, kdyby tam vrazili kavku (i když by to pochopilo z celosvětového pohledu jen "pár lidí").

trošku OT, ale zase je to k článku: ta knížka je dobrá, ale ten název je podle mě strašně matoucí kvůli tomu "real-time". Pod tím si lidi představují něco trošku jiného, než to znamená, a Kafka tedy není real-time ani z jednoho pohledu :-)

ta knížka byla taková tichá předzvězd dnešní doby, v podstatě už nedodávám systém, který by neměl někde v požadavcích uvedeno real-time. Bohužel to vypadá, že ani lidé z oboru netuší, jak vypadají real-time databáze a systémy a co to vlastně znamená.

Tak ono asi málo lidí ve světě asociuje Fr. Kafku s kafkou ptákem... kafka je snad anglicky Western jackdaw...

25. 4. 2024, 23:47 editováno autorem komentáře

no prave proto je zvlastni jak ten obrazek vznikl.

No jo, ale navzdory Kafkovi je to Kafka pojmenovaná, takže pták/kavka zvítězil/la.