Apache Software Foundation ha lanzado una nueva versión de su plataforma: Apache Hadoop 3.3.0 . Ha pasado año y medio desde la última actualización. La plataforma en sí es una herramienta para organizar el procesamiento distribuido de grandes cantidades de datos utilizando MapReduce. Hadoop incluye un conjunto de utilidades, bibliotecas y marcos para desarrollar y ejecutar programas distribuidos que pueden ejecutarse en clústeres de miles de nodos.
Para Hadoop, se ha creado un sistema de archivos especializado Hadoop Distributed File System (HDFS), que proporciona respaldo de datos y optimización de las aplicaciones MapReduce. HDFS está diseñado para almacenar archivos grandes distribuidos entre nodos individuales de un clúster de cómputo. Gracias a sus capacidades, Hadoop es utilizado por las empresas y organizaciones más grandes. Google incluso otorgó a Hadoop el derecho a utilizar tecnologías que afecten a las patentes relacionadas con el método MapReduce.
En general, nos encontramos con Apache Hadoop 3.3.0 .
A continuación, se muestra una lista de los cambios más importantes de la nueva versión:
- Soporte para plataformas basadas en ARM (por cierto, Selectel tiene servidores ARM; aquí hay un enlace si quieres probar).
- Protobuf (Protocol buffers) 3.7.1. Protobuf .
- S3A Delegation Token (), 404, S3guard .
- ABFS.
- Java 11.
- Tencent Cloud COS, COS.
- DNS Resolution, DNS . , .
- YARN (Yet Another Resource Negotiator) .
- Se agregó soporte para programar contenedores OPORTUNISTICOS para que se ejecuten a través del Administrador de recursos .
Debido al hecho de que Hadoop se está desarrollando activamente, el mercado de soluciones basadas en él está creciendo rápidamente. Si en 2019 el volumen de mercado fue de alrededor de $ 1.7 mil millones, entonces, según los expertos, para 2024 alcanzará los $ 9.4 mil millones.
Ahora Hadoop ocupa el primer lugar entre los repositorios de Apache en términos de la cantidad de cambios. El código base de la plataforma es de aproximadamente 4 millones de líneas. Los repositorios más grandes son Netflix, Twitter, Facebook.