El sistema de respaldo del banco (DBS) ha estado operando sobre la base del software Veritas NetBackup durante mucho tiempo. Pero el equipo, en el que giraba el SRC, ya no soporta la carga.
Una señal de un problema inminente fue la falta de una ventana de respaldo. SRK ya no tenía tiempo para realizar copias de seguridad de los datos de los servidores y las estaciones de trabajo durante la noche, y algunas de las tareas se distribuían en horas de trabajo. Como resultado, para algunos recursos, las copias no se hicieron todos los días, y esto creó el riesgo de pérdida de datos y violación del nivel de SLA en caso de fallas reales.
Otro problema es la falta de espacio en la biblioteca de discos. Para compensar de alguna manera esto, el cliente redujo el tiempo de almacenamiento de las copias de seguridad en la biblioteca de discos de 14 días a 7 días. Esto supuso un esfuerzo adicional para las unidades de biblioteca de cintas, que de todos modos se utilizaron casi por completo.
La biblioteca de discos se utilizó para el almacenamiento en línea de copias de seguridad y proporcionó la ejecución paralela de trabajos de copia de seguridad de hasta 25 subprocesos simultáneamente.
La biblioteca de cintas se utilizó para almacenamiento a largo plazo. De acuerdo con los requisitos del regulador, varios documentos deben almacenarse de 1 a 5 años. Con un aumento adicional en la carga, el cliente tendría problemas con el cumplimiento de las regulaciones del Banco Central. No es una perspectiva muy positiva.
¿Cambio? ¿Reparar? ¿Expandir? ¿Potenciar?
Cuando el SRK comenzó a "ahogarse", acercándose al límite de su productividad, el cliente tenía una pregunta: ¿dónde está el "cuello de botella" del sistema? Dado que estamos involucrados en el mantenimiento de la parte de software del SRK, el servicio de TI del banco nos solicitó analizar el funcionamiento del sistema.
La solución en ese momento incluía los siguientes componentes:
- 1 x servidor de medios / maestro NetBackup Solaris x86
- 1 servidor de medios de copia de seguridad de VMware;
- 45 servidores de medios AIX
- 10 servidores multimedia SPARC Solaris;
- 1 biblioteca de discos Dell EMC Data Domain 4200 en modo VTL;
- 1 biblioteca de cintas Oracle SL3000 con 8 unidades LTO6.
Para almacenar copias de seguridad en línea, se grabaron simultáneamente varias secuencias de copias de seguridad de servidores de medios y clientes empresariales utilizando el protocolo FC en la biblioteca de discos. A continuación, se realizó una copia de seguridad de las copias en medios de cinta de la biblioteca Oracle SL3000 a través del servidor principal / multimedia de NetBackup a través del protocolo FC.
El banco tiene 830 clientes SRK, que incluyen alrededor de 730 máquinas virtuales VMware, clientes empresariales en AIX y Solaris y servidores x86 físicos. El volumen original de una copia completa de los datos respaldados fue de 115 TB.
Para encontrar el cuello de botella, analizamos las estadísticas de ejecución de trabajos de NetBackup, la configuración de E / S del servidor de medios, la configuración de SAN, la utilización de unidades de la biblioteca de cintas y el rendimiento de la biblioteca de discos. Para ello, el cliente nos facilitó informes de diagnóstico:
- nbsu: utilidad de soporte de Veritas NetBackup;
- NetBackup DeployUtil y especificación de licencia de software;
- Configuración de Brocade SAN Health en SAN;
- AutoSupport desde Data Domain Disk Library.
El informe nbsu: Veritas NetBackup Support Utility proporciona información completa sobre la configuración de NetBackup, incluida información sobre el rendimiento de las tareas de respaldo. Esta información se presenta en el volcado de bpdbjobs - most_columns. Pero necesita poder analizarlo y convertir fechas y horas del formato de época a un formato legible por humanos.
La salida del comando bpdbjobs le ayuda a evaluar el rendimiento y la duración de cada trabajo. Así es como puede obtener una imagen de la eliminación de unidades de biblioteca de cintas en una escala de tiempo :
El nbsu tiene datos sobre los medios utilizados, los períodos de retención y su distribución entre grupos. A continuación se muestra un resumen de los tiempos de retención de medios basado en NBU_available_media.txt de nbsu.
El informe de NetBackup DeployUtil estima el consumo real de licencias de software de respaldo para diferentes modelos de licencia: tradicional y de capacidad. Se genera en MS Excel, contiene una lista completa de clientes de respaldo, información sobre la plataforma de servidores redundantes, la versión de NetBackup utilizada y la cantidad de datos que se respaldan.
El informe de salud de SAN de Brocade describe la topología de la SAN, la configuración de zonas y la utilización de enlaces ISL.
Data Domain AutoSupport "habla" sobre la configuración de la biblioteca de discos, la eficiencia del almacenamiento y el rendimiento. Después de analizar, identificamos los patrones y obtuvimos el mapa de calor de la carga:
Como resultado, resultó que el "eslabón débil" era la biblioteca de discos Dell EMC Data Domain 4200, que funcionaba en modo VTL.
Comparamos los parámetros reales y los requisitos formales para el volumen de copias de seguridad y su frecuencia. Resultó que la capacidad y el rendimiento actuales de la biblioteca de discos no proporcionan almacenamiento de CD operativos con el período requerido. Además, precisamente debido a las limitaciones de la velocidad de lectura del Dell EMC DD4200, la duplicación de información en las cintas se produjo en un modo cercano al límite. El menor rendimiento de DD para la lectura se debe al proceso de rehidratación de la información que consume muchos recursos: restaurar la secuencia de bloques a su forma original antes de la deduplicación.
Todo apuntaba a la necesidad de reemplazar la biblioteca de discos obsoleta. El cliente necesitaba hardware que pudiera soportar 5-6 TB de datos por hora, con controladores adicionales para tolerancia a fallas y mayor capacidad.
Tres candidatos para elegir
La sugerencia más obvia en este caso fue reemplazar Dell EMC Data Domain por una versión más nueva. O Veritas NetBackup Appliance podría ser una alternativa. (Esto es en gran parte análogo a Data Domain y en la misma categoría de precios). Pero ambas opciones plantearon preocupaciones presupuestarias.
La tercera opción es una solución basada en servidores de arquitectura estándar con deduplicación nativa Veritas NetBackup - Media Server Deduplication Pool (MSDP).
Cuando llegamos al cliente con una propuesta, resultó que ya había considerado soluciones basadas en Veritas NetBackup Appliance y Dell EMC Data Domain de otros proveedores, pero el cliente no estaba seguro de cuán óptimas eran en términos de relación precio / resultado. En otras palabras, nuestra versión en servidores estándar fue útil.
Mientras el banco probaba configuraciones basadas en Veritas NetBackup Appliance, asesoramos al equipo de TI del cliente sobre los detalles del uso de la deduplicación de Veritas, los matices de la tecnología Fiber Transport para transmitir tráfico SRK a través de una SAN, los mecanismos para crear copias sintéticas basadas en la tecnología NetBackup Accelerator y propusimos habilitar la verificación de estas tecnologías. en el programa de prueba. Con base en los resultados de la prueba, el cliente aprobó nuestra solución basada en dos servidores x86 estándar con almacenamiento en bloque, ya que en ella se implementó toda la pila de tecnologías probadas.
También preparamos una propuesta para reemplazar Dell EMC Data Domain 4200 por una biblioteca más nueva. Para este proyecto, se eligió el modelo Dell EMC Data Domain 6800 HA, un modelo más potente, espacioso y productivo. La ventaja de la solución fue la alta disponibilidad de la biblioteca en una configuración de controlador dual. La biblioteca de discos en esta configuración ya no es un único punto de falla. Si se pierde el controlador, la biblioteca permanecerá disponible a través de la tecnología NPIV y las tareas de respaldo continuarán automáticamente.
En el caso de elegir una solución para Data Domain, el cliente no necesitaba reemplazar el software del cliente SRK Enterprise con un cliente SAN, y la cantidad de trabajo para "integrarlo" en el panorama de TI fue mínima. Esta fue otra ventaja para Dell EMC Data Domain 6800 HA.
Más potencia + DD BOOST
La biblioteca de discos Dell EMC Data Domain 6800 admite el modo de controlador dual (alta disponibilidad) y puede funcionar no solo con el protocolo VTL, sino también con DD BOOST. La nueva biblioteca tiene una capacidad utilizable de 174 TB excluyendo la deduplicación y la compresión, mientras que Dell EMC DD4200 se limitó a 130 TB. Además, estimamos la velocidad esperada de la biblioteca de discos y le mostramos al cliente que debería ser de 5.3 a 8 TB por hora con escritura y lectura simultáneas, cubriendo completamente sus necesidades de respaldo y transferencia de datos a cintas.
El soporte simultáneo para DD Boost y VTL demostró ser útil, ya que fue posible combinar el uso de tecnologías en caso de problemas de compatibilidad. Los beneficios de DD Boost son obvios:
- ;
- ( ) (image);
- DD Boost , - NetBackup;
- NetBackup ;
- .
Dado que el ecosistema del banco se basa en la virtualización de VMware, NetBackup Accelerator para Vmware también es una función útil de DD Boost. Esta tecnología rastrea los bloques CBT modificados de VMware (Changed Block Tracking) y, basándose en la tecnología de deduplicación, crea una copia de seguridad completa sintética durante una incremental. Al mismo tiempo, se conserva la posibilidad de recuperación granular de archivos y aplicaciones de Microsoft (AD, SQL, Exchange, SharePoint) a partir de copias de seguridad de máquinas virtuales.
Más asequible, pero no mejor
Nuestro equipo ha calculado los costos de cambiar a varias opciones para nuevas bibliotecas. Resultó que la reorganización del SRC utilizando servidores estándar requeriría más trabajo de integración. Pero lo más desagradable son los riesgos adicionales para el negocio: reemplazo del software de respaldo del cliente, reconfiguración de políticas y, como resultado, posible tiempo de inactividad para los servidores más críticos (más de 50 servidores AIX / Solaris).
Como resultado, el cliente decidió migrar a Dell EMC Data Domain 6800.
Dell EMC Data Domain 6800 fue la alternativa más cara. Pero su uso permitió reducir el costo de la modernización en general: no cambiar la infraestructura del SRK, minimizar el riesgo de pérdida de datos e indisponibilidad del servicio, y también no abandonar la biblioteca antigua. Entonces, agregar otro DD al sistema duplicó la capacidad de almacenamiento, nada en los procesos ya depurados. Mantener la compatibilidad con VTL no requirió configuración adicional en los servidores de medios NetBackup y los clientes empresariales. Tampoco hubo necesidad de cambiar el software de respaldo del cliente, y los trabajos de respaldo se redistribuyeron fácilmente entre las bibliotecas de disco: el DD4200 ya instalado y el nuevo DD6800. Las políticas de SLP para transferir copias de seguridad a cintas también siguen siendo las mismas que antes,ahora solo los datos provienen de dos bibliotecas de discos.
Transición a un nuevo sistema
A continuación se muestra el esquema de la solución de destino:
Cuando se introdujo la nueva biblioteca de discos, la necesidad de ampliar la capacidad de respaldo era tan urgente que el banco estaba listo para respaldar la producción hasta que se completaran todas las pruebas. Logramos disuadir al cliente de este paso. Hemos realizado todas las comprobaciones del programa de prueba, incluidas las pruebas destructivas de conmutación por error.
La implementación ocurrió rápidamente. Dos semanas después, el banco estaba ejecutando una nueva biblioteca de discos. Como resultado, el cliente recibió un sistema con una mayor capacidad y un margen de rendimiento suficiente para los próximos años. De hecho, los indicadores de desempeño incluso superaron los calculados. El rendimiento real del DD 6800 es de 8 a 9 TB por hora (calculado a partir de 5,3 TB) y la capacidad, teniendo en cuenta la deduplicación y la compresión, es de aproximadamente 1 petabyte.
Debido a que simplemente expandimos la capacidad de almacenamiento en disco y no cambiamos la arquitectura, el costo de las licencias de NetBackup para el banco siguió siendo el mismo: nada cambió en términos de respaldo de datos y número de clientes. Ahora, la nueva biblioteca funciona en paralelo con Dell EMC DD 4200, pero su capacidad es suficiente para desmantelar sin problemas la biblioteca anterior, si es necesario.
Un estudio profundo al inicio del proyecto en términos de costes laborales "superó" la introducción de la nueva biblioteca. De hecho, completamos un pequeño proyecto de consultoría con un error de cálculo de posibles opciones por 0 rublos. Pero resultó que no fue en vano. Esto permitió al cliente obtener una justificación para la modernización, minimizar los riesgos y tomar una decisión informada.
Autor: Alexey Polyakov, ingeniero de diseño de sistemas de almacenamiento de datos, Jet Infosystems