Clever Geek Handbook

Copia de volúmenes a sistemas de almacenamiento a través de un servidor Linux usando XCOPY

Sucede que necesita obtener una copia completa de un volumen dentro de un sistema de almacenamiento (DSS), no una instantánea, un clon, sino un volumen completo. Pero el sistema de almacenamiento no siempre le permite hacer esto dentro de sí mismo por sus propios medios. Parece que la única opción es copiar a través del servidor, pero al mismo tiempo, toda la cantidad de datos será perseguida a través del propio servidor, la red al sistema de almacenamiento y los puertos de almacenamiento, cargando todos estos componentes. Pero hay comandos SCSI que pueden permitirle hacer todo dentro del propio sistema de almacenamiento, y si su sistema admite VAAI de VMware, entonces casi el 100%, que es compatible con el comando XCOPY (COPIA EXTENDIDA), que le dice al arreglo qué copiar y dónde, sin involucrar esto servidor de procesos y red.



Parece que todo debería ser simple, pero no encontré guiones prefabricados de inmediato, tuve que reinventar la rueda. Se eligió Linux para el sistema operativo del servidor, y se eligió el comando ddpt (http://sg.danny.cz/sg/ddpt.html) como la herramienta de copia. Cualquier volumen de cualquier sistema operativo se puede copiar utilizando esta combinación, ya que la copia se realiza bloque por bloque en el lado del almacenamiento. Dado que es necesario copiar bloque por bloque, y se debe contar el número de bloques, se usó el comando blockdev para contar el número de tales iteraciones. El tamaño máximo de bloque se obtuvo empíricamente, con un bloque grande ddpt no funcionó de hecho. El resultado es el siguiente script bastante simple: 



#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

set -o nounset
bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done


¡Hagamos una pequeña comprobación! Bueno, qué pequeño, el archivo de 1TB fue creado y verificado por md5sum no rápidamente :) 



root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfs
2516582400
root@sales-demo-05:/home/vasilyk# blockdev --getsz /dev/mapper/mpathfr
2516582400
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
mount: /xcopy_source: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfs, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# mkfs /dev/mapper/mpathfs
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 314572800 4k blocks and 78643200 inodes
Filesystem UUID: bed3ea00-c181-4b4e-b52e-d9bb498be756
Superblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
        102400000, 214990848

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 16
drwx------ 2 root root 16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# head -c 1T </dev/urandom > /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_source/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# umount /xcopy_source
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
mount: /xcopy_dest: wrong fs type, bad option, bad superblock on /dev/mapper/mpathfr, missing codepage or helper program, or other error.
root@sales-demo-05:/home/vasilyk# cat xcopy.sh
#!/bin/bash
# first parameter = input device
# second parameter = output device
# device size must be the same
# changing bs variable can reduce speed, max speed should be at bs=32768. 32768 is max setting, lower settings should be calculated dividing by 2

bs=32768
s=`blockdev --getsz $1`
i=0
while [ $i -le $s ]
do
ddpt of=$2 bs=512 oflag=xcopy,direct if=$1 iflag=xcopy,direct count=$bs verbose=-1 skip=$i seek=$i
i=$(( $i+$bs ))
done
root@sales-demo-05:/home/vasilyk# time ./xcopy.sh /dev/mapper/mpathfs /dev/mapper/mpathfr
real    11m30.878s
user    2m3.000s
sys     1m11.657s


Qué estaba sucediendo en el sistema de almacenamiento en este momento: Continuemos



imagen

con Linux. 



root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfr /xcopy_dest/
root@sales-demo-05:/home/vasilyk# ls -l /xcopy_dest/
total 1074791444
-rw-r--r-- 1 root root 1099511627776 Aug 19 17:25 1TB_file
drwx------ 2 root root         16384 Aug 19 15:35 lost+found
root@sales-demo-05:/home/vasilyk# mount /dev/mapper/mpathfs /xcopy_source/
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_source/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_source/1TB_file
root@sales-demo-05:/home/vasilyk# md5sum /xcopy_dest/1TB_file
53dc6dfdfc89f099c0d5177c652b5764  /xcopy_dest/1TB_file
root@sales-demo-05:/home/vasilyk#




Todo funcionó, pero pruébelo y úselo bajo su propio riesgo y riesgo. Para empezar, es mejor tomar instantáneas como volumen de origen.


More articles:


All Articles