Pro tyhle účely má Mplayer2 speciální výstup -vo lavc. Myslím, že o ještě nebylo mergnuto a bohužel odkaz ze stránky projektu háže 404. Takže možná se poptejte u nich v kanále.
Pokud vím, existovaly patche pro starý mencoder, které umožňovaly v něm používat filtr libass. A další možnost: ffmpeg (pozor, ne libav) udělal myslím z libass video filtr, tak snad by se to dalo rozběhat tak.