KodeGeek

En la entrega anterior les mostraba como acelerar la copia de archivos grandes cambiando el algoritmo de cifrado y la compresión en scp; Estos resultados se pueden mejorar un poco más utilizando un algoritmo de compresión mejor que Gzip.

En este caso utilizamos LZMA, con una implementación específica, LZMA Utils.

¿Que tan buena es la compresión por omisión (nivel 7)?

auyan:Downloads josevnz$ time tar -cf – SentillaWork-1.1.1.tar |/usr/local/bin/lzma -c | ssh 10.0.1.198 -c arcfour “cd /Users/josevnz/Downloads && /usr/local/bin/lzma -dc|tar -xvf -”
./._SentillaWork-1.1.1.tar
SentillaWork-1.1.1.tar

real    9m16.777s
user    9m15.030s
sys    0m3.709s

Que porquería. No es mejor que Gzip. ¿Pero si utilizamos la compresión rápida, los cuales sólo afectan la velocidad de compresión más no descompresión (nivel 1)?

auyan:Downloads josevnz$ time tar -cf – SentillaWork-1.1.1.tar |/usr/local/bin/lzma -1 -c | ssh 10.0.1.198 -c arcfour “cd /Users/josevnz/Downloads && /usr/local/bin/lzma -dc|tar -xvf -”
./._SentillaWork-1.1.1.tar
SentillaWork-1.1.1.tar

real    4m36.603s
user    1m54.419s
sys    0m3.300s

¡Apenas 30 segundos mejor que Gzip utilizando la compresión por omisión (7) !. Me pico la curiosidad y decidí utilizar de nuevo a gzip pero con nivel de compresión mínima:

auyan:Downloads josevnz$ time tar -cf – SentillaWork-1.1.1.tar |gzip -1 -c | ssh 10.0.1.198 -c arcfour “cd /Users/josevnz/Downloads && gzip -dc|tar -xvf -”
./._SentillaWork-1.1.1.tar
SentillaWork-1.1.1.tar

real    4m21.237s
user    0m15.113s
sys    0m3.679s

Bueno, que sorpresa. Resulta que el venerable Gzip aún le da palo a LZMA

Ya les había comentado que estoy jugando con varias herramientas, para quedarme con una de ellas. Les recomiendo que se lean este tutorial del departamento de energía de los Estados Unidos sobre herramientas y mejor utilización del ancho de banda.

Algo que se me olvidaba comentar, en este ejemplo utilize un sólo archivo y tar, lo cual no tiene mucho sentido, sin embargo Tar es mucho más eficiente cuando enviamos varios archivos grandes a la vez.
Veneblogs: lzma, linux, gzip, scp, opensource, copiando archivos, copying big files

Blogalaxia: lzma, linux, gzip, scp, opensource, copiando archivos, copying big files

To2blogs: lzma, linux, gzip, scp, opensource, copiando archivos, copying big files

Technorati: lzma, linux, gzip, scp, opensource, copiando archivos, copying big files

Del.icio.us: lzma, linux, gzip, scp, opensource, copiando archivos, copying big files

linux, opensource