¿Cómo suelen trabajar los astrónomos? Coordinan con el observatorio la fecha y hora de uso del telescopio, y el día señalado realizan observaciones, cargándose los datos recopilados. Pero debido al hecho de que los telescopios generan cada vez más información útil, los métodos tradicionales dejan de funcionar. Y los científicos encontraron una salida mediante el uso de tecnologías en la nube. Cloud4Y explica cómo funcionan ahora los astrónomos.
El Observatorio Vera Rubin en Chile puede recolectar 20 terabytes de datos por noche. Esto se debe en gran parte a su buena ubicación. El telescopio de investigación de espejo gran angular se encuentra a una altitud de 2715 m en el pico de El Peñón (este es el norte de Chile). El diseño del telescopio es único porque tiene un campo de visión muy amplio: 3,5 grados de diámetro o 9,6 grados cuadrados. En comparación, tanto el Sol como la Luna son visibles desde la Tierra como objetos de 0,5 ° horizontalmente o 0,2 grados cuadrados. Combinado con la gran apertura, esto le permite tener una fuerza de recolección extremadamente alta. En otras palabras, el telescopio es capaz de adquirir datos de vastas áreas del cielo al mismo tiempo. Está previsto que la primera luz de "ingeniería" se reciba en mayo de 2021, todo el sistema, en octubre de 2021 y en octubre de 2022 para comenzar a operar completamente
20 terabytes es aproximadamente lo mismo que Sloan Digital Sky Survey , que ofrece los mapas 3D más detallados del universo y que recopila todos los datos desde 2000 hasta 2010. Pero eso no es todo. El proyecto Square Kilometer Array , que comenzará a funcionar en 2020, aumentará este volumen en un factor de 100, a 2 petabytes por día (cuando alcance la capacidad máxima en 2028). Y los equipos de próxima generación (ngVLA), según los responsables de los observatorios, generarán cientos de petabytes.
No es fácil procesar tales volúmenes de datos. No puede simplemente descargarlos y almacenarlos en algún lugar. Y crear soporte para que los recursos informáticos locales funcionen es demasiado caro. Según algunas estimaciones, el costo de organizar una infraestructura de TI desde cero y mantener el personal necesario para respaldar el Observatorio Vera Rubin podría acercarse a los 150 millones de dólares en 10 años. Entonces, los astrónomos de Chile, como muchos de sus colegas, se volvieron hacia la nube. Y aquí están las conclusiones que ya han sacado.
La inversión en potencia informática es buena para la ciencia
No basta con mover datos a la nube; los investigadores deben poder interactuar con ella. En lugar del modelo de trabajo tradicional, cuando los astrónomos transferían datos a sus computadoras, ahora descargan su código para trabajar con los datos disponibles en la nube. Gracias a la disponibilidad de acceso en línea a la plataforma científica del observatorio (cuadernos Jupyter para programación en Python, Julia, R, etc., interfaces de programación de aplicaciones (API) para analizar, visualizar y buscar datos), los usuarios pueden escribir y ejecutar código Python para el análisis remoto de todo. el conjunto de datos del observatorio en servidores alojados en el Centro Nacional de Aplicaciones de Supercomputación en Urbana, Illinois. Y no necesitas descargar nada a tu computadora.
En otras ramas de la ciencia, este enfoque es muy eficaz. Por ejemplo, el proyecto Pangeo, que es una plataforma de análisis de big data para las ciencias de la tierra, ha hecho públicos y computables petabytes de datos climáticos, lo que facilita la colaboración de los investigadores.
Conveniente incluso cuando se trabaja sin big data
Evelina Momcheva, que trabaja con un telescopio espacial en Baltimore, Maryland, dice que ha encontrado casos en los que proyectos que utilizan solo datos de tamaño mediano se han beneficiado de la computación en la nube. Aunque solo sea porque los investigadores pudieron acceder a recursos muy superiores al rendimiento de sus computadoras portátiles. Y, lo que es importante, a un costo relativamente bajo. Y algunos proveedores de la nube ofrecen recursos gratuitos con fines educativos.
En 2015, Momcheva y sus colegas solo tenían un servidor de 8 núcleos para su proyecto 3D-HST, que analizaba datos del telescopio espacial Hubble para comprender las fuerzas que dan forma a las galaxias en el universo distante. Los recursos eran escasos y se volvieron hacia las nubestomando cinco máquinas de 32 núcleos. ¿Por qué? Pero porque después de los cálculos preliminares resultó que el análisis en nuestras propias máquinas llevaría al menos tres meses. Con un proveedor de nube, tomó cinco días y menos de $ 1,000 ”.
El precio no lo es todo
Las disputas sobre si los servicios en la nube son más baratos en comparación con su propia infraestructura de TI, si disminuyen, no desaparecerán pronto. Ambas partes tienen fuertes argumentos. Por ejemplo, un informe de 2011 del Departamento de Energía de EE. UU. Magellan sobre computación en la nube concluyó que los centros de computación del departamento son generalmente más baratos que alquilar servicios en la nube. Sin embargo, desde entonces, ha pasado mucha agua por debajo del puente y las tecnologías han cambiado drásticamente.
La optimización del trabajo con servicios en la nube, según la Universidad de Washington, puede nivelar estas diferencias. Los investigadores pudieron demostrar que el experimento en la nube de $ 43 costaba solo $ 6 después de unos meses de trabajo y optimización de costos. También calcularon que completar las mismas tareas en un tiempo comparable utilizando sus propios recursos le costaría al equipo alrededor de $ 75,000 (para hardware, electricidad y salarios del personal), y los servidores tendrían que estar activos el 87% del tiempo durante tres años.
El ahorro de tiempo influye a menudo en la toma de decisiones. Cuando su infraestructura de TI tarda nueve meses en procesar sus datos, y la nube solo tarda un mes, y por aproximadamente el mismo dinero, esa diferencia de ocho meses se vuelve muy interesante.
Los astrónomos dicen que no tienen ningún deseo de cruzar hacia un lado. Por el contrario, el uso de la infraestructura local para las tareas diarias y las "nubes" - para la informática compleja - es el modelo óptimo para muchos centros científicos.
La consolidación de datos abre nuevos horizontes
Otra cosa que a los astrónomos les encanta es la capacidad de combinar múltiples conjuntos de big data. Su combinación puede proporcionar información que no sería obvia para cada conjunto por separado. Es decir, cuanta más información reúnen los astrónomos, más útil se vuelve.
Inspirado en el Proyecto NIH Data Commons, donde los científicos almacenan e intercambian datos y software biomédicos y de comportamiento, los investigadores planean crear Astronomy Data Commons. Los científicos de la Universidad de Washington ya han publicado un conjunto de datos llamado Zwicky Transient Facility, que incluye 100 mil millones de observaciones de aproximadamente 2 mil millones de objetos celestes. Si este trabajo es útil, otros astrónomos pueden seguir su ejemplo. Entonces se creará todo un ecosistema astronómico, cuyas posibilidades solo se pueden soñar.
No basta con ir a la nube, necesitas saber cómo usarlo
Para trabajar con datos en la nube, los usuarios deben crear una cuenta, elegir una de las muchas opciones para interactuar con la información e instalar su propio software (a menudo escrito por ellos mismos o personalizado). Además, configure todo para que el software pueda ejecutarse en varias máquinas al mismo tiempo. Los errores son inevitables y pueden costarles caro a los investigadores, desalentando su interés en la tecnología en la nube. Hubo un caso en el que estudiantes graduados ineptos "quemaban" un par de miles de horas de tiempo de procesamiento por nada. Por lo tanto, se recomienda a los científicos que primero se capaciten "en gatos", lanzando pequeños proyectos piloto utilizando su propia infraestructura.
También es importante no olvidarse de los requisitos de seguridad. Aunque la privacidad y la seguridad en la nube son mejores que los recursos locales, configurar una infraestructura en la nube puede ser un desafío. Y el error de un programador sin experiencia conducirá al hecho de que sus datos estarán disponibles para todo el mundo. Cuando utilizamos nuestro propio parque de TI, estos problemas se controlan de forma más estricta. Y en la nube, es fácil equivocarse si no escucha las recomendaciones de los expertos técnicos del proveedor.
En general, el deseo de los astrónomos de utilizar los recursos de la nube para estudiar sistemas estelares, construir modelos de formación de Universos y almacenar "lagos de datos" es comprensible. La informática pesada se ha dejado durante mucho tiempo a merced de los equipos de los centros de datos. Las plataformas en la nube han transformado enormemente la ciencia y los negocios, convirtiéndose en una herramienta importante para el desarrollo del pensamiento humano. Lo principal es utilizar esta herramienta correctamente.
¿Qué más es interesante en el blog de Cloud4Y
→ “Hágalo usted mismo”, o una computadora de Yugoslavia
→ El Departamento de Estado de EE. UU. Creará su propio gran firewall
→ La inteligencia artificial canta sobre la revolución
→ ¿Cuál es la geometría del Universo?
→ Huevos de Pascua en mapas topográficos de Suiza
Suscríbete a nuestro canal de Telegram , para no perderte otro artículo. Escribimos no más de dos veces por semana y solo por negocios.