Bohužel, s H.264 mám stejné zkušenosti jako ty - taky jsem to zkoušel v Avidemuxu a taky mi spadl. :-) Ale to byla starší verze a na Windows, novější verze v Linuxu už by snad padat neměla (vím, že to někteří uživatelé s úspěchem používají). Zatím stále používám ASP (XviD používám téměř na všechno), ale až bude v Avidemuxu více vychytaná podpora kontejneru MP4 (ukládat H.264 do AVI není ideální), asi začnu používat x264. Nová verze Avidemuxu (2.3, zatím v rané fázi vývoje) už bude mít oddělený základní "engine" nezávislý na GUI - a Avidemux používá ECMAScript na skriptování...
Zatím je asi možnost použít na H.264 v MP4 MEncoder a FFmpeg. Ale to jsem ještě nezkoušel. Takže teoreticky snad třeba např. nějak takto: