Cluster Xiuhcoatl: Guía para copia de archivos grandes recomendación y pasos

GUIA PARA COPIA DE ARCHIVOS GRANDES, RECOMENDACIONES Y PASOS

Para realizar la copia les recomendamos dos cosas, una es hacer el procedimiento a altas horas de la noche para evitar  tráfico en la red y la otra es usar la técnica  “divide y vencerás”, la aplicación de esta guía es cuando se requiere copiar un archivo o carpeta de gran tamaño, en el caso de ser un archivo debe empezar desde el PASO 3, y la copia puede ser desde el clúster a la maquina local o viceversa.

PASO 1:  Se requiere estar conectado en la maquina donde se tiene la carpeta a copiar, debemos contener en un solo archivo la carpeta (se puede comprimir si se desea, este ejemplo no se realiza compresion).

Para este ejemplo vamos a copiar una carpeta de 12GB, primero ejecutamos el comando  “ls –lah”  para ver los archivos y corroborar estamos en la carpeta que contiene el archivo o carpeta a copiar y verificamos el espacio en disco que ocupa con el comando  “du -ksh”.

PASO 2: Se crea un contenedor “tar”  para copiar todo el contenido de la carpeta “T500AGOS18” a un solo archivo “T500AGOS18.tar”.

Verificamos el archivo creado.

PASO 3: Se crea una carpeta con el comando “mkdir ” para el procedimiento “divide y vencerás” y se entra a ella con el comando “cd”.  

PASO 4: Dividimos el archivo usando el comando “split “en partes de 1 GB  el segmento para este ejemplo, pero puede ser de un menor tamaño  dependiendo del ancho de banda de la conexión y trafico.

PASO 5: Revisamos los archivos generados

PASO 6: Copiamos de la maquina local a la maquina remota usando el comando “scp”, para fines de éste ejemplo el equipo local ya tiene creada la carpeta “T500” en el home del usuario para recibir los archivos particionados:

Se ingresan el password de la cuenta y se espera a que termine la copia de los archivos

En caso de que por alguna razón no se copien todos los archivos, se empieza a copiar desde último que se completo digamos fue el aj (si no se puede copiar ni el primer archivo habrá que bajar el tamaño de cada slice digamos a 100MB), entonces copiamos de la siguiente forma:

PASO 7: Una vez que se terminó de copiar los archivos a la maquina remota, se accede a ella en la carpeta que contiene los archivos  y se realiza la tarea de concatenación de los archivos particionados al archivo “tar”.

Se verifica el tamaño del archivo, si la copia original era un solo archivo ya terminamos si era una carpeta continuamos.

PASO 8: Se extraen el contenido del archivo “tar”

PASO 9: Se verifica el tamaño y en su caso los archivos.

PASO 10: Una vez verificado que se copio de manera correcta se borra los archivos particionados y el archivo “tar” de no necesitarse.

Listo ya se copio la carpeta de 12 GB T500AGOS18.