Pokud je cílem plugin v C, tak bych s Lua ani nezačínal.
Je potřeba si rozchodit build Wiresharku https://www.wireshark.org/docs/wsdg_html_chunked/ChapterSetup.html. C plugin nelze rozumně zkompilovat bez vývojového prostředí Wiresharku.
Pak si prolítnout doc/README.plugins a doc/README.dissector.
Dále si najít nějaký jednoduchý podobný protokol v epan/dissectors nebo plugins/epan, ať je odkud opisovat.
No a pak se pustit do vlastního pluginu.