Názory k článku Srovnání linuxových kompresorů dat: různé kompresní poměry a rychlost

Rad bych se zeptal - jakych konkretnich parametru techto programu /algoritmu se dane srovnani tyka?

Bez toho ta tabulka neni moc vypovidajici.

Edit: Urcite by stalo za to minimalne uvest, co z toho je default, co maximalni komprese a co maximalni rychlost (a, treba u xz, na tom zavisejici systemove zdroje, kde si dokaze u vyssich nastaveni vzit rameti opravdu hodne).

21. 11. 2024, 00:11 editováno autorem komentáře

Při hledání maximálního kompresní poměru byly použity tyto parametry:

declare -A A=(
    [lz4]="-fk -12 -c"
    [lzop]="-fk -9 -c"
    [x]="-fk -9"
    [gzip]="-fk --best -c"
    [bzip2]="-fk -9 -c"
    [xz]="-fk -9 -e -c"
    [lzma]="-fk -9 -e -c"
    [zstd]="-fk --ultra -22 -c"
    [brotli]="-fk -q 11 -c"
    [bzip3]="-fk -c"
    [zopfli]="--i1000 -c"
    [lzop]="-fk -9 -c"
)

Při zaměření na rychlost komprese:

declare -A A=(
    [lz4]="-fk -1 -c"
    [lzop]="-fk -1 -c"
    [x]="-fk -9"
    [gzip]="-fk --fast -c"
    [bzip2]="-fk --fast -c"
    [xz]="-fk -0 -e -c"
    [lzma]="-fk -0 -e -c"
    [zstd]="-fk --fast -c"
    [brotli]="-fk -q 0 -c"
    [bzip3]="-fk -c"
)

Jsou tu kusy bashových skriptů.

Když jde o rychlost dekomprese, tak mě zaujalo spíš toto:

https://sneller.ai/blog/decompressing-at-over-10-gigabytes-per-second/

Podle toho grafu je Iguana mnohem rychlejší než LZ4 a má ještě lepší kompresní poměr. Nechybí ani srovnání s Zstd s použitím aritmetického kódování (kompresní poměr srovnatelný a skoro 3x rychlejší při dekompresi). Nepíšou tam ale rychlost komprese, takže to asi nebude nic moc.

Na druhou stranu je očividné, že LZ4 už nemá prvenství v rychlosti dekomprese.

Škoda, že v porovnání chybí rar - oproti ostatním algoritmům umožňuje navíc přidávat data pro obnovu v případě poškození...

> Zstd běžně dosahuje podobných kompresních poměrů jako Deflate, ale za to je rychlejší. Při maximální kompresi dosahuje Zstd kompresních poměru blízko LZMA.

Podle tabulky to tak nevypadá - Zstd obvykle bývá účinnější i při default level.

Škoda, že chybí jako příklad JSON - dnes prakticky nejpoužívanější formát - Zstd běžně dosahuje 5-10% původní velikosti.

Kdysi jsme vyvíjeli proces zpracovávající velké množství dat. Pro lokální kompresi jsme použili LZ4 kvůli rychlosti, pro finální úložiště Gzip. Zstd tehdy ještě nebyl na světě, ale dneska by to byla jasná volba.

json bude mít kompresní poměr skoro stejný jako xml - jsou to textová data

Ahoj, díky za inspiraci, ale ja to asi nechapu.

Vzdyt se porovnavaji hrusky z jablkama.
Na jedne strane mame tabulku s maximalni kompresi a na druhe strane s maximalni rychlosti. Nad slunce je ale jasne ze nejde mit oboje.

Teda bylo by treba k maximalni rychlosti komprese doplnit kompresni pomer.
A naopak k maximalnimu kompresnimu pomeru cas pro kompresi.

Jinak nejde nic rozhodnout. Ta nastaveni mezi softy jsou prece tak siroka a nekonzistentni.

za zmínku taky stojí lrzip, i když to je spíš prekompressor, pro velké složky (předevšim pro ty které mély několik vezí těch samých souborů) fakt pomohl, lrzip potom má věstavený lzo, gzip, bzip2, a zpaq, ale nechá se kombinovat se vším.
Zstd by mělo mít něco jako lrzip ale nevim jistě.

21. 11. 2024, 07:27 editováno autorem komentáře