Confronto gzip, bzip2, xz, lzip, pbzip2, pigz e lbzip2

[Mario Vanoni]

Aggiornato il primo post,

altro esperimento in corso:

xz_mt_simple di Lasse Collin (xz)

tempo non prevedibile perche'
un po` diverso dagli altri.

[Mario Vanoni]

Aggiornato ad oggi il primo post,

Antonio Diaz, il creatore di lzip,
si meraviglia dei tempi di decompressione e mi scrive:

I see some strange decompression times in your tests. How can bzip2 decompress faster than lzip?

time bzip2 -c -d 1.2B_file.bz2 > /dev/null 0m0.116s, 6 tests
time lzip -c -d 1.2MB_file.lz > /dev/null 0m0.144s ... 0m0.126s, 9 tests

These are my results on an Athlon64 single core:

time bzip2 -cd linux-2.6.28.tar.bz2 > /dev/null 20.109s
time lzip-1.5 -cd linux-2.6.28.tar.lz > /dev/null 8.469s
time lzip-1.6 -cd linux-2.6.28.tar.lz > /dev/null 7.067s

Ho rifatto i test, sia con il piccolo file che quello grande,
risultati identici, e rifatto con il nuovo lzip-1.6.

I risultati sono tutti raccolti nel primo post.

[Blallo]

[Mario Vanoni]

time ls * |
while read f
do
echo $f
cat $f | xz_mt_simple 5 5 > /dev/null
done

5470m27.109s, quindi 91.2 ore

essendo sperimentale, non lo aggiungo al primo post

[Mario Vanoni]

Istigato da Lasse Collin, ho fatto altri due esperimenti,
stesse macchine, kernel 2.6.30:

time xz -2 -f -v * time 94.16 hours, du -hs 678GB
time xz -c -d 1.2MB_file.xz > /dev/null 0m0.196s ... 0m103s
time xz -c -d 566MB_file.xz > /dev/null about 59s
time xz -d -v *.xz 29.4 hours, du -hs 869GB

Il suo commento:
Thanks. In this test, "xz -2" was slower than I had hoped (too far from bzip2).

Essendo i 22197 files citati nel primo post tutti *.wav

time flac -8 --delete-input-file *.wav time 39 hours, du -hs 381GB
time flac -c -d 1.2MB_file.flac 0m0.024s
time flac -c -c 566MB_file.flac 0m9.449s ... 0m9.297s
time flac --delete-input-file -d *.flac 9.6 hours, du -hs 869GB

Il suo commento:
This is roughly what I expected. When the type of uncompressed data is
known, special purporse algorithms are the right tool instead of general
purporse compression tools.

Stranamente flac(1) si e` rifiutato di comprimere un unico file dei 22197,
ma che con aplay(1) risulta senza errori,
alla fine ha un applauso lunghissimo, e li` flac va in errore.
Essendo la loro BUG list solo per registrati, non lo sapranno mai!

Perche' ho la raccolta CD sul computer?

KISS rule, sentire un'opera intera non-stop:
con un player: CD1, poi mettere CD2, poi mettere CD3 ...
oppure
aplay CD1*.wav CD2*.wav CD3*.wav ...

Se non interessa, scusatemi.

[Blallo]

no no anzi è interessante...soprattutto per chi ha come minimo un dual core...

[Mario Vanoni]

Aggiornato il primo post con lbzip2 di

ERSEK Laszlo lacos@caesar.elte.hu
http://lacos.web.elte.hu/pub/lbzip2/

con gli stessi test, anche se kernel diverso.

Mi interessava essendo un bzip2 multi-thread.

Se non interessa piu` l'argomento, scusatemi.