Cluster Xiuhcoatl: Guía para copia de archivos grandes recomendación y pasos
GUIA PARA COPIA DE ARCHIVOS GRANDES, RECOMENDACIONES Y PASOS
Para realizar la copia les recomendamos dos cosas, una es hacer el procedimiento a altas horas de la noche para evitar tráfico en la red y la otra es usar la técnica “divide y vencerás”, la aplicación de esta guía es cuando se requiere copiar un archivo o carpeta de gran tamaño, en el caso de ser un archivo debe empezar desde el PASO 3, y la copia puede ser desde el clúster a la maquina local o viceversa.
PASO 1: Se requiere estar conectado en la maquina donde se tiene la carpeta a copiar, debemos contener en un solo archivo la carpeta (se puede comprimir si se desea, este ejemplo no se realiza compresion).
![](/Portals/0/img_guias/cluster/1y2-copia.png)
Para este ejemplo vamos a copiar una carpeta de 12GB, primero ejecutamos el comando “ls –lah” para ver los archivos y corroborar estamos en la carpeta que contiene el archivo o carpeta a copiar y verificamos el espacio en disco que ocupa con el comando “du -ksh”.
![](/Portals/0/img_guias/cluster/2-cluster.png)
PASO 2: Se crea un contenedor “tar” para copiar todo el contenido de la carpeta “T500AGOS18” a un solo archivo “T500AGOS18.tar”.
![](/Portals/0/img_guias/cluster/3-cluster.png)
Verificamos el archivo creado.
![](/Portals/0/img_guias/cluster/4-cluster.png)
PASO 3: Se crea una carpeta con el comando “mkdir ” para el procedimiento “divide y vencerás” y se entra a ella con el comando “cd”.
![](/Portals/0/img_guias/cluster/5-cluster.png)
PASO 4: Dividimos el archivo usando el comando “split “en partes de 1 GB el segmento para este ejemplo, pero puede ser de un menor tamaño dependiendo del ancho de banda de la conexión y trafico.
![](/Portals/0/img_guias/cluster/6-cluster.png)
PASO 5: Revisamos los archivos generados
![](/Portals/0/img_guias/cluster/7-cluster.png)
PASO 6: Copiamos de la maquina local a la maquina remota usando el comando “scp”, para fines de éste ejemplo el equipo local ya tiene creada la carpeta “T500” en el home del usuario para recibir los archivos particionados:
![](/Portals/0/img_guias/cluster/8-cluster.png)
Se ingresan el password de la cuenta y se espera a que termine la copia de los archivos
En caso de que por alguna razón no se copien todos los archivos, se empieza a copiar desde último que se completo digamos fue el aj (si no se puede copiar ni el primer archivo habrá que bajar el tamaño de cada slice digamos a 100MB), entonces copiamos de la siguiente forma:
![](/Portals/0/img_guias/cluster/9-cluster.png)
PASO 7: Una vez que se terminó de copiar los archivos a la maquina remota, se accede a ella en la carpeta que contiene los archivos y se realiza la tarea de concatenación de los archivos particionados al archivo “tar”.
![](/Portals/0/img_guias/cluster/10-cluster.png)
Se verifica el tamaño del archivo, si la copia original era un solo archivo ya terminamos si era una carpeta continuamos.
![](/Portals/0/img_guias/cluster/11-cluster.png)
PASO 8: Se extraen el contenido del archivo “tar”
PASO 9: Se verifica el tamaño y en su caso los archivos.
![](/Portals/0/img_guias/cluster/13-cluster.png)
PASO 10: Una vez verificado que se copio de manera correcta se borra los archivos particionados y el archivo “tar” de no necesitarse.
![](/Portals/0/img_guias/cluster/14-cluster.png)
Listo ya se copio la carpeta de 12 GB T500AGOS18.
622