Analítica
Nuevas funciones de AWS Lake Formation (versión preliminar)
Las nuevas características de AWS Lake Formation , como transacciones, seguridad a nivel de fila y mejoras de rendimiento, están disponibles para vista previa. La funcionalidad funciona a través de API nuevas, abiertas y públicas para actualizar y acceder a lagos de datos.
Las transacciones se implementan mediante "tablas gobernadas", un nuevo tipo de tabla basada en Amazon S3 que admite transacciones ACID. Las transacciones le permiten simplificar los scripts de transformación de datos (ETL) y permitir que diferentes usuarios agreguen, eliminen y modifiquen registros en diferentes tablas administradas al mismo tiempo y con seguridad.
AWS Lake Formation comprime y optimiza automáticamente el almacenamiento de tablas administrado en segundo plano para mejorar el rendimiento al consultar datos.
Más detalles aquí
Redshift
Nodos RA3.xlplus y anuncios adicionales para Amazon Redshift
RA3.xlplus es el tercer y más pequeño tipo de nodo de la familia RA3. RA3 le permite escalar la computación y el almacenamiento por separado, expandiendo las opciones de computación para los clústeres de Amazon Redshift.
Más detalles aquí
Capacidad para mover un clúster entre zonas de disponibilidad (AZ)
La función de movimiento de clúster mueve un clúster a otra zona de disponibilidad en un solo paso sin la necesidad de realizar cambios en la aplicación. Cuando un clúster se mueve a una zona de disponibilidad diferente, el nuevo clúster tendrá el mismo punto final para que las aplicaciones puedan continuar ejecutándose sin cambios. La función es gratuita y está disponible para clústeres RA3.
Más detalles aquí
Optimización automática de la mesa
La optimización automática de tablas monitorea continuamente cómo las consultas interactúan con las tablas y utiliza el aprendizaje automático para seleccionar las mejores claves de clasificación y distribución para optimizar el rendimiento de las consultas en todo el clúster.
Más detalles aquí
Compartir datos entre clústeres de Amazon Redshift (versión preliminar)
Una nueva función para compartir datos en Amazon Redshift está disponible para prueba, lo que le permite compartir datos de manera segura y sencilla entre clústeres de Redshift en tiempo real. Compartir datos le permite simplificar el procesamiento de datos, aumentar la productividad y reducir costos: todo lo que está acostumbrado dentro de un solo clúster de Redshift ahora está disponible en múltiples clústeres mientras trabaja con datos.
Al utilizar un almacén de datos administrado que está separado de los nodos de computación de la familia RA3, es posible obtener acceso instantáneo y de alto rendimiento a los datos de múltiples clústeres sin tener que copiarlos o moverlos. También se excluye la lectura de datos desactualizados: todos los clústeres funcionan en una única copia de los datos siempre actualizada, con los últimos cambios. No hay ningún costo adicional para compartir datos entre los clústeres de Amazon Redshift.
Más detalles aquí
Amazon Redshift y Amazon RDS para MySQL y bases de datos Amazon Aurora MySQL para consultas federadas (versión preliminar)
Las consultas federadas de Amazon Redshift le permiten conectar datos de bases de datos transaccionales para BI y aplicaciones de informes para análisis operativo. Amazon Redshift Optimizer descarga y distribuye parte del cálculo a bases de datos remotas para acelerar el rendimiento al reducir el tráfico de red. Hoy, estamos ampliando las capacidades de consulta federada en Amazon RDS para MySQL y Amazon Aurora para MySQL. La función está disponible para vista previa.
Compatibilidad con JSON integrado (versión preliminar)
Hoy presentamos JSON nativo y compatibilidad con datos semiestructurados en Amazon Redshift para obtener una vista previa. Se utiliza un nuevo tipo de datos 'SUPER' para el almacenamiento, que permite almacenar datos semiestructurados en tablas Redshift. También se agregó soporte para el lenguaje de consulta PartiQL para consultar y procesar dichos datos.
Más detalles aquí
Vista previa de Amazon EMR Studio
Se ha anunciado Amazon EMR Studio, un IDE basado en Jupyter. Admite la autenticación con proveedores de SSO empresariales y permite a los analistas e ingenieros de datos desarrollar aplicaciones analíticas y sistemas de procesamiento de datos en R, Python, Scala y PySpark. Spark UI y YARN Timeline Service también están disponibles para facilitar la depuración. Las computadoras portátiles EMR Studio se ejecutarán en clústeres EMR existentes o lanzarán nuevos utilizando plantillas CloudFormation listas para usar para EMR.
Detalles aquí
Amazon EMR en Amazon EKS
Con la nueva implementación de EMR ( Amazon EMR en Amazon EKS ), los clientes pueden automatizar la creación y administración de marcos de macrodatos de código abierto impulsados por Amazon EKS. Los clientes ahora pueden ejecutar aplicaciones Spark junto con otros tipos de aplicaciones dentro del mismo clúster de EKS y obtener mejoras en la utilización de recursos y la facilidad de administración de la infraestructura.
Amazon EMR empaqueta automáticamente su aplicación en un contenedor de big data y proporciona conectores listos para usar para la integración con otros servicios de AWS. Luego, EMR implementa la aplicación en el clúster de EKS y administra el registro y la supervisión. Con EMR en EKS, puede obtener 3 veces el rendimientoutilizando el tiempo de ejecución de Spark con rendimiento optimizado incluido en EMR en comparación con el Apache Spark estándar en EKS.
Más detalles aquí
Redes
Analizador de accesibilidad de VPC
El nuevo servicio VPC Reachability Analyzer le permite diagnosticar la disponibilidad de la red entre dos puntos de tráfico (puntos finales) sin la necesidad de enviar paquetes de red. El servicio lee la configuración de todos los recursos en la VPC y utiliza el razonamiento automático para determinar las rutas de tráfico de red disponibles. Analiza todas las posibles rutas de tráfico dentro de la red sin enviar paquetes de red. Para obtener más información sobre cómo funcionan los algoritmos de análisis automatizados, consulte la sesión re: Invent o lea este documento .
Más detalles aquí
AWS Transit Gateway Connect
Las SD-WAN superpuestas (redes de área amplia definidas por software) se utilizan para conectar oficinas o centros de datos a través de la Internet pública. Ahora se requiere que la infraestructura en la nube esté conectada a las mismas redes. AWS Transit Gateway se utiliza a menudo en el borde de la red para conectar sus redes a la red troncal de AWS.
Y con la incorporación de la funcionalidad AWS Transit Gateway Connect, existe una manera fácil de expandir su infraestructura SD-WAN a la nube de AWS. En lugar de múltiples túneles VPN IPsec entre Transit Gateway y dispositivos de red SD-WAN, Transit Gateway Connect usa túneles GRE. También admite el enrutamiento dinámico de BGP, se integra con el servicio de monitoreo de AWS Transit Gateway Network Manager y un conjunto de soluciones de socios .
Todo esto simplifica el diseño de la red, mejora el rendimiento y facilita la expansión de SD-WAN a AWS.
Más detalles aquí
Compatibilidad con IGMP en AWS Transit Gateway
AWS Transit Gateway presenta compatibilidad con el Protocolo de administración de grupos de Internet (IGMP), lo que facilita la administración de aplicaciones que utilizan multidifusión IP.
Los clientes han utilizado anteriormente AWS Transit Gateway para ejecutar aplicaciones de multidifusión en la nube. Ahora, con la compatibilidad con IGMP, es más fácil escalar y administrar la membresía de grupos de multidifusión. Ya no necesita configurar grupos de multidifusión estáticos, fuentes y receptores, Transit Gateway agrega y elimina automáticamente miembros del grupo mediante IGMP.
IGMP es un estándar abierto y muchas aplicaciones de multidifusión dependen de él. Ahora es más fácil migrarlos a la nube.
Más detalles aquí
Sesión de Twitch en ruso
Todas las innovaciones en el campo de la analítica y la infraestructura de red se discutirán hoy en el flujo de contracción en ruso. Los principales arquitectos de soluciones de AWS han elegido las más interesantes, ya las han usado mucho y ahora intercambiarán sus impresiones sobre los nuevos productos y responderán todas sus preguntas. Si aún no se ha conectado a las transmisiones, enlace al registro . Por cierto, puede ver las grabaciones de transmisiones anteriores en ruso en el tweet, si se las perdió.
Noticias anteriores de AWS re: Invent 2020:
AWS re: Invent. Anuncios destacados del día 1 (Andy Jassy, aplicaciones empresariales)
AWS re: Invent. AWS re: Invent 2020 Keynotes: anuncios principales del día 1 del aprendizaje automático (almacenamiento)