Componentes internos del servidor Dell PowerEdge R7525 2U. Dos rectángulos plateados en el medio son procesadores AMD EPYC 7542. Arriba y debajo de ellos hay tiras de 64 GB de RAM. En el borde izquierdo de la foto hay 24 discos NVMe, esto solo es posible en EPYC



Let's Encrypt , la autoridad de certificación más grande de Internet, más de 235 millones de sitios web operan con sus certificados TLS gratuitos . En el corazón de la CA se encuentra la base de datos en la que se administran los certificados. Es importante que su rendimiento esté a la altura, de lo contrario veremos errores de API y tiempos de espera al emitir certificados.



A fines de 2020, la organización sin fines de lucro actualizó sus servidores.



El software principal de Let's Encrypt es la CA de código abierto de Boulder con soporte ACME. Utiliza esquemas y consultas de estilo MySQL para administrar las cuentas de usuario y todo el proceso de emisión de certificados. CA de código abierto trabaja con una base de datos MySQL, MariaDB o Percona. Actualmente usando MariaDB con el motor InnoDB.



La CA se ejecuta con una única base de datos para minimizar la complejidad. Los desarrolladores dicen que esto es bueno para la seguridad, confiabilidad y facilidad de mantenimiento. Let's Encrypt tiene varias réplicas de bases de datos activas en un momento dado, y algunas lecturas se dirigen a los servidores de réplicas para reducir la carga en la base de datos principal.



Una de las consecuencias de este diseño es que los servidores deben ser lo suficientemente potentes. Si los servidores no funcionaban, al final Let's Encrypt tendría que dividir una base de datos en varias, pero la actualización permitió evitarlo.

Especificaciones

Los servidores anteriores eran potentes, pero regularmente alcanzaban el máximo rendimiento. Para la nueva generación, el objetivo es más del doble de casi todas las métricas de rendimiento en el mismo factor de forma 2U. Para hacer esto, eligieron procesadores AMD EPYC y consideraron que el servidor Dell PowerEdge R7525 era la mejor opción . Estas son sus características técnicas, en comparación con los servidores antiguos:





Como puede ver, la cantidad de núcleos y la cantidad de memoria realmente se han duplicado, y el rendimiento del SSD se ha incrementado nominalmente en más de cinco veces.





1 - asa, 2 - módulo de expansión vertical 1, 3 - primera fuente de alimentación, 4 - módulo de expansión vertical 2, 5 - disipador térmico para el primer procesador, 6 - ranuras DIMM para el primer procesador, 7 - ventiladores, 8 - etiqueta de servicio, 9 - panel posterior y placa base SSD, 10 - caja de ventilador, 11 - ranuras DIMM para el segundo procesador, 12 - disipador de calor para el segundo procesador, 13 - placa base, fuente de alimentación de 14 segundos, 15 - módulo de expansión Riser 3, 16 - Riser 4 módulo de expansión



Cada servidor tiene dos procesadores AMD EPYC para un total de 64 núcleos físicos. Velocidad de reloj de 2.9GHz hasta 3.4GHz bajo carga. Más importante aún, EPYC proporciona 128 carriles PCIe v4.0. Esto permite que 24 discos NVMe quepan en una máquina. Son unidades increíblemente rápidas (5,7 veces más rápidas que las SSD SATA en los servidores de generaciones anteriores) porque utilizan PCIe en lugar de SATA. El número de carriles PCIe suele ser bastante limitado: los procesadores convencionales suelen tener solo 16 carriles, mientras que los chips Intel Xeon tienen 48 carriles. Aquí, los procesadores AMD EPYC se comparan favorablemente con 128 carriles PCIe por chip, lo que permite instalar una gran cantidad de unidades NVMe en cada máquina.

Impacto en el rendimiento

Let's Encrypt proporciona el tiempo medio de procesamiento de solicitudes, porque los usuarios sienten más esta métrica. Antes de la actualización, la solicitud de API mediana tardaba unos 90 ms. Después de la actualización, ¡aproximadamente 9 ms!







En el siguiente gráfico, puede ver que los procesadores antiguos se estaban ejecutando al límite. En la semana anterior a la actualización, la carga de la CPU en el servidor de base de datos principal (de / proc / stat) promedió más del 90%: los







nuevos procesadores AMD EPYC están funcionando aproximadamente al 25% de su capacidad máxima. Esto se puede ver en el gráfico donde el 15 de septiembre se promovió el nuevo servidor de réplica (solo lectura) a primario (lectura / escritura).







La actualización ha reducido significativamente la latencia general de la base de datos. El tiempo medio de respuesta (de INFORMATION_SCHEMA) solía ser de aproximadamente 0,45 ms.







Ahora, las solicitudes se procesan en promedio tres veces más rápido, en aproximadamente 0,15 ms.

OpenZFS y NVMe

Las unidades NVMe son cada vez más populares hoy en día por su increíble rendimiento. Sin embargo, hasta hace poco, era casi imposible poner una gran cantidad de NVMe en un servidor, porque usan carriles PCIe y el procesador admite un número limitado de esos carriles, como dijimos. Intel Xeon admite 48 carriles PCIe v3, y algunos de ellos son utilizados por el chipset, el adaptador de red y la GPU. Quedan pocas líneas para NVMe.



La última generación de procesadores AMD EPYC admite 128 carriles PCIe, más del doble de Intel, ¡y eso es PCIe v4! Esto es suficiente para empaquetar un servidor de 2U con discos NVMe (Dell tiene 24 piezas).



Cuando tiene un servidor lleno de unidades NVMe, debe decidir cómo administrarlas. En la generación anterior de servidores Let's Encrypt, el RAID de hardware se organizó en una configuración RAID-10, pero no hay un RAID de hardware efectivo para NVMe, por lo que se tuvo que encontrar otra solución. El software RAID (mdraid en Linux) se consideró una de las opciones, pero se recomendó a los desarrolladores que usaran OpenZFS. Decidieron intentarlo y están bastante satisfechos con el resultado.



Dicen que hay poca información en Internet sobre cómo ajustar y optimizar mejor OpenZFS para grupos de discos NVMe y cargas de trabajo de bases de datos, por lo que documentaron sus experiencias en detalle . Quizás le sea útil a alguien.



Let's Encrypt dice que esta actualización fue necesaria y en cierto sentido forzada, porque la cantidad de usuarios de la CA gratuita está en constante crecimiento, al igual que la cantidad de certificados TLS emitidos. Los servidores son bastante caros y la actualización supuso un serio desafío técnico para los ingenieros de la organización, pero todo salió bien.



Let's Encrypt es una autoridad de certificación sin fines de lucro que se financia mediante patrocinios y donaciones individuales .