Nos complace anunciar el lanzamiento de una vista previa pública de una imagen de máquina virtual (VM) basada en CentOS 7 optimizada para computación de alto rendimiento (HPC). Está diseñado principalmente para cargas de trabajo de interfaz de paso de mensajes (MPI) estrechamente acopladas. Este artículo detalla la imagen de VM específica de HPC y sus beneficios. Para empezar directamente a crear instancias a partir de esta imagen, lea la documentación y el inicio rápido.
En 2020, hablamos sobre una serie de funciones y configuraciones para optimizar la interfaz MPI en la plataforma Google Cloud. Reducen el retraso en la mensajería a unos pocos microsegundos. y proporcionar la entrega de pequeños mensajes MPI en 10 microsegundos o menos. La optimización MPI mejora el escalado de la aplicación y aumenta la cantidad de tareas que se pueden realizar en la plataforma Google Cloud. Sin embargo, para crear una imagen de máquina virtual con estas técnicas en mente, necesita un conocimiento profundo de los sistemas y la plataforma de Google Cloud. Por tanto, es más lógico empezar a trabajar con una imagen originalmente calculada y preparada para la informática de alto rendimiento. Le permite implementar fácilmente una instancia de VM ajustada para un rendimiento óptimo de la CPU y la red en Google Cloud. La imagen de HPC VM está disponible en Google Cloud Marketplace sin costo adicional.
Ventajas de la imagen de VM de HPC sobre las imágenes de VM tradicionales
Cuando elige una imagen de HPC VM, obtiene una configuración lista para usar, un mantenimiento regular y los siguientes beneficios de HPC en Google Cloud:
- Cree fácilmente máquinas virtuales adaptadas a cargas de trabajo estrechamente acopladas . Cree fácilmente una máquina virtual HPC y actualice su configuración periódicamente con la configuración más reciente.
- Optimización de redes para sistemas estrechamente acoplados. Reduzca la latencia para mensajes pequeños y acelere las aplicaciones que requieren comunicación punto a punto o compartida.
- Computación más eficiente. Mejore el rendimiento en nodos individuales reduciendo las vibraciones del sistema.
- Rendimiento estable y reproducible de múltiples nodos. Aplique configuraciones que han demostrado ser efectivas en una variedad de tareas de HPC.
La imagen de HPC VM reemplaza fácilmente la imagen estándar basada en CentOS 7.
Ejemplo del mundo real: Programa de ecuación SDPB de escalado con CloudyCluster y HPC VM Image
Walter Londry de Caltech Particle Theory Group desarrolla software de investigación para el proyecto internacional Bootstrap Collaboration . El proyecto usa un programa semi-definido para resolver ecuaciones (SDPB) . Con su ayuda, las teorías cuánticas de campos se investigan en relación con una amplia gama de problemas de la física teórica, como la expansión del Universo temprano, los superconductores, el efecto Hall cuántico y las transiciones de fase.
Para expandir la potencia informática del proyecto, Londri decidió escalar el programa SDPB en la plataforma Google Cloud. Uso de Omnibond CloudyCluster y una imagen de VM para HPC, pudo llevar el proyecto a niveles de rendimiento y escalabilidad comparables a los de un clúster local en Yale, basado en computadoras con procesadores Intel Xeon Gold 6240 y tecnología Infiniband FDR.
La instancia C2-Standard-60 para Google Cloud utiliza procesadores escalables Intel Xeon de segunda generación. Las instancias C2 admiten reglas de ubicación que reducen la latencia de comunicación entre nodos, por lo que son excelentes para cargas de trabajo MPI estrechamente acopladas. CloudyCluster contiene de forma nativa la imagen de HPC VM y las reglas de ubicación para la familia C2, por lo que los investigadores no necesitan hacer nada más. Las pruebas han demostrado que Google Cloud puede escalar cargas de trabajo de baja latencia en varias instancias.
Si desea ver esto por sí mismo, visite Google Cloud MarketplaceHay disponible una versión actualizada de CloudyCluster de Omnibond con una imagen de HPC VM. Esta versión también incluye la aplicación Open OnDemand, que es distribuida por el Centro de Supercomputación del Estado de Ohio y financiada por NSF. Permite a los administradores del sistema proporcionar fácilmente acceso web a los recursos de HPC.
Capacidades de imagen de VM de computación de alto rendimiento
Configuración y optimización. La imagen actual de HPC VM se centra en el ajuste para cargas de trabajo estrechamente acopladas y utiliza las siguientes mejoras de rendimiento de MPI:
- Intel Hyper-Threading. Intel Hyper-Threading . .
- MPI. MPI MPI. MPI Intel, MPI.
- tcp_*mem. C2 32 / TCP Linux.
- busy polling. busy polling , , .
- . , () , , , .
- Desactive los firewalls de Linux y la tecnología SELinux. El motor y el firewall de SELinux, que están habilitados de forma predeterminada para las imágenes de CentOS Linux en Google Cloud, no se utilizan en la imagen de HPC VM. Esto mejora el rendimiento de MPI.
- Deshabilite la utilidad CPUIdle. Las máquinas virtuales C2 mantienen un estado inactivo de la CPU y pueden entrar en un modo de bajo consumo. Al deshabilitar la utilidad CPUIdle, puede llevar la latencia a un nivel constantemente bajo.
La efectividad de estos ajustes depende de la aplicación específica. Le recomendamos que los pruebe en la práctica para encontrar la configuración más potente y económica.
Análisis comparativo de la efectividad de las imágenes.
Comparamos el rendimiento de una imagen de HPC VM y una imagen estándar de CentOS 7 utilizando Intel MPI Benchmarks y análisis de elementos finitos del mundo real (ANSYS LS-DYNA), dinámica de fluidos (ANSYS Fluent) y aplicaciones meteorológicas (WRF).
En esta sección, se tomaron las siguientes versiones de la imagen de HPC VM y la imagen de CentOS para comparar:
- Imagen de HPC VM : hpc-centos-7-v20210119 (--la configuración de nomitigación y mpitune aplicada como se recomienda en la documentación )
- Imagen de CentOS : centos-7-v20200811
Ping-Pong Intel MPI Benchmark (IMB) : se utiliza para medir la latencia de un mensaje de tamaño fijo entre dos rangos en un par de máquinas virtuales. Resultó que cuando se usa una imagen de VM para HPC, la latencia es en promedio un 50% menor en comparación con la imagen estándar de CentOS 7.
Configuración de prueba:
- 2 VM C2-standard-60 con reglas de colocación compactas
- Biblioteca MPI : Intel MPI Library 2018 Update 4
- Comando de lanzamiento : mpirun -genv I_MPI_PIN = 1 -genv I_MPI_PIN_PROCESSOR_LIST = 0 -hostfile <hostfile> -np 2 -ppn 1 IMB-MPI1 Pingpong -iter 50000
Resultados
La prueba Intel MPI Benchmark (IMB) AllReduce se utiliza para medir la latencia colectiva cuando se transfieren datos entre varios rangos a través de una máquina virtual. Reduce un vector de longitud fija mediante la operación MPI_SUM. Los resultados se muestran para un PPN (proceso por nodo), donde hay 1 rango MPI por nodo y 30 subprocesos por rango, y resultados para 30 PPN, cuando hay 30 rangos MPI por nodo y 1 subproceso por rango. En comparación con la imagen estándar de CentOS 7, se ha descubierto que la imagen de HPC VM reduce la latencia de AllReduce para 240 rangos de MPI en 8 nodos (30 procesos por nodo) hasta en un 40%.
Configuración de prueba:
- 8 VM C2-standard-60 con reglas de colocación compactas
- Biblioteca MPI : Intel MPI Library 2018 Update 4
- a : mpirun -tune -genv I_MPI_PIN=1 -genv I_MPI_FABRICS ‘shm:tcp’ -hostfile <hostfile> -np <#vm*ppn> -ppn <ppn> IMB-MPI1 AllReduce -iter 50000 -npmin <#vm*ppn>
Resultados
Pruebas de aplicaciones HPC: LS-DYNA, Fluent y WRF. Al usar una imagen de HPC VM en la capa de aplicación, se observaron ganancias de rendimiento de hasta un 25% en la simulación de colisión de 3 autos en el análisis ANSYS LS-DYNA (usando rangos de 240 MPI en 8 instancias C2 basadas en el procesador Intel Xeon) ... Como parte del análisis ANSYS Fluent y WRF, la imagen de HPC VM proporcionó una mejora del rendimiento del 6% sobre la imagen estándar de CentOS.
Configuración de prueba:
- ANSYS LS-DYNA (modelo de “3 coches”) : 8 VM C2-standard-60 con reglas de ubicación compactas, utilizando código binario LS-DYNA MPP compilado con AVX-2
- ANSYS Fluent ( “aircraft_wing_14m”): 12 C2-standard-60
- WRF V3 Parallel Benchmark (12 KM CONUS): 16 C2-standard-60
- MPI: Intel MPI Library 2018 ( 4)
? SchedMD Slurm Linux
Ampliaremos la lista de soluciones de socios que utilizan la imagen HPC VM predeterminada. A partir del próximo mes, todos los clientes de Slurm podrán ejecutar clústeres utilizando la imagen predeterminada de HPC VM (vista previa disponible aquí ).
¡Buenas noticias para cualquiera que busque una versión empresarial de Linux para informática de alto rendimiento! SUSE está trabajando con Google para desarrollar una imagen SUSE Enterprise HPC VM optimizada para Google Cloud. Si desea obtener más información o solicitar otras integraciones y distribuciones de Linux, contáctenos...
¡Empiece hoy!
Una vista previa de la imagen de HPC VM ahora está disponible para todos los usuarios en Google Cloud Marketplace . Para obtener información sobre cómo crear una instancia mediante una imagen de HPC VM, consulte la documentación y la guía de inicio rápido. También le recordamos que cuando se registra por primera vez en Google Cloud: los bonos por valor de $ 300 están disponibles para usted y más de 20 productos gratuitos siempre están disponibles. Puede probar GCP en el enlace dedicado .
Un agradecimiento especial a los colegas Jiu Xiao Liu, Tanner Love, Yang Jian, Hong Bo Lu y Pallawi Feng por su ayuda en la preparación del material.