Názory k článku Práce s Kafkou z příkazové řádky: nástroje Kafkacat a Kcli

To je pěkný nástroj, tak ještě zkusím, jak zvládne obrovské partitiony.

jinak se zeptám - jakým způsobem a k čemu Kafku používáte na produkci?

V současnosti Kafku používáme jak součást "processing" pipeline. Je to ukázáno tady:

https://raw.githubusercontent.com/RedHatInsights/insights-results-smart-proxy/master/docs/customer-facing-services-architecture.png

S tímto přílepkem (další Kafka topic):
https://raw.githubusercontent.com/RedHatInsights/ccx-notification-writer/master/docs/architecture_diagram.png

Většina těch topiců je rozdělena na 16 oddílů (+ na skupiny pro ocp.results), tomu odpovídá i počet workerů. Neškálujeme samozřejmě "writery", tam to totiž stejně limituje databáze.

(jinak mám v projektu i další nasazení, ale to není takto veřejně dostupné).

Jinak tím, že to už běží přes rok v produkci a někdy i s velkým datovým tokem, jsme museli vychytávat spoustu problémů s Kafkou. Typicky rebalancing - ten když nastává (záleží proč), tak je to obecně dost problematické a taky knihovny pro Kafku nejsou úplně bez chyby (ani pro Python, ani pro Go - ty původní Javovské nepoužíváme, tam nevím), takže je to někdy docela zábava.

Osobně na to domácí žvýkání* používám
https://github.com/birdayz/kaf

*Test jestli servisa zapisuje či nikoliv

17. 6. 2021, 14:34 editováno autorem komentáře

To je moc pěkné, díky za tip.

Bude moc vadit, když o tom napíšu někdy příště?