Názor k článku Nástroj MirrorMaker pro Apache Kafku od Uncaught ReferenceError: - ano i ne. Celá kafka je založena na tom,...

ano i ne.

Celá kafka je založena na tom, že broker drží offsety posledních zpracovaných zpráv pro každou partition a každou consumer group. Consumer je pak odpovědný za to, aby poslal ve správný okamžit "ack" a tím posunul offset a tady je to úskalí a rozdíl jednotlivých implementací a použití.

MM2 posílá ack asynchronně vzhledem ke zpracování, pokud zpracovává hodně zpráv, vynechává ack (to se ale nedávno změnilo v nové verzi již nevynechává tak extrémně). Oři jakémkoliv výpadku tedy hrozí situace, kdy poslední zprávy mohou být zpracované, ale offset neposunutý. Existuje riziko tedy dvojitého zpracování, s tím chce počítat a při replikaci to tolik nemusí vadit.

Pokud jde jen o výpadek tcp spojení, tak to se zkouší navazovat opakovaně a pokud je doba dostatečně krátká, bez problémů pokračuje v práci.