Copiando archivos grandes SIN usar scp

josevnz — Sun, 22 Feb 2009 12:00:41 +0000

Bueno, ya para finalizar esta serie me decidí a utilizar otras herramientas que en teoria son mucho más eficientes que scp copiando archivos.

Usando FDT de Cern:

Primero arranqué el servidor en la máquina de destino:

Tepuyes-Mac-mini:Downloads josevnz$ java -XX:MaxDirectMemorySize=512m -jar /Users/josevnz/Desktop/fdt.jar

Checking for remote updates … This may be disabled using -noupdates flag.
Checking remote fdt.jar at URL: http://monalisa.cern.ch/FDT/lib/fdt.jar
Current fdt.jar path is: /Users/josevnz/Desktop/fdt.jar
Connecting … OK

FDT [ 0.9.4-200901271612 ] STARTED …

Y luego copie el archivo usando el modo cliente:

auyan:Downloads josevnz$ time java -XX:MaxDirectMemorySize=512m -jar /Users/josevnz/Desktop/fdt.jar -c 10.0.1.198 /Users/josevnz/Downloads/SentillaWork-1.1.1.tar -d /Users/josevnz/Downloads/

FDT [ 0.9.4-200901271612 ] STARTED …

Feb 21, 2009 10:20:32 PM lia.util.net.common.Config
INFO: FDT started in client mode
…

INFO: [ FDTReaderSession ] No post processing filters defined/processed.
[ Sat Feb 21 22:25:46 EST 2009 ] – GracefulStopper hook started … Waiting for the cleanup to finish
[ Sat Feb 21 22:25:46 EST 2009 ] – GracefulStopper hook finished!

[ Sat Feb 21 22:25:46 EST 2009 ] FDT Session finished OK.

real    5m14.560s
user    0m3.329s
sys    0m5.565s

No es mejor que usar Ssh, Tar y Gzip con la compresión más baja. Sin embargo note que el archivo que copie no estaba comprimido para nada y que podría haber usado un filtro para comprimir el archivo antes de enviarlo y para descomprimirlo al llegar.

Usando BBCP:

Bueno, la instalación es trivial pero yo no pude utilizar compresión para copiar mis archivos. Después de probar algunos parametros me decidí por esto:

auyan:Downloads josevnz$ time bbcp -P 4 -v -w 2M SentillaWork-1.1.1.tar 10.0.1.198:/Users/josevnz/Downloads/SentillaWork-1.1.1.tar
bbcp: Invalid argument setting FD limit
bbcp: 10.0.1.196 kernel using a send window size of 2098152 not 2097184
bbcp: Creating /Users/josevnz/Downloads/SentillaWork-1.1.1.tar
bbcp: At 090221 23:34:28 copy 0% complete; 0.0 KB/s, avg 0.0 KB/s sdv 0
bbcp: At 090221 23:34:32 copy 0% complete; 0.0 KB/s, avg 0.0 KB/s sdv 0
…

bbcp: At 090221 23:41:20 copy 96% complete; 1024.0 KB/s, avg 705.6 KB/s sdv 0
bbcp: At 090221 23:41:24 copy 98% complete; 1024.0 KB/s, avg 708.6 KB/s sdv 0
File /Users/josevnz/Downloads/SentillaWork-1.1.1.tar created; 309176320 bytes at 716.4 KB/s
1 file copied at effectively 708.8 KB/s

real    7m6.001s
user    0m0.060s
sys    0m1.167s

Hmm, ¿7 minutos? Nada bueno, considerando que scp y FTD hacen un buen trabajo.

Si bien no puedo decir que bbcp es una herramienta más lenta comparado con FDT al menos se que es lo bueno para mi red. Me guestó mucho FTD ya que se puede integrar fácilmente con aplicaciones escritas en Java y su instalación / ejecución es trivial (además de tener un buen rendimiento).

A usted seguro le tocará experimentar con los parámetros disponibles para cada aplicación, así que paciencia y buena suerte
Veneblogs: java, opensource, bulk copy, tcp