- el dispositivo de un cluster de logs, que nos permite entender qué está pasando con los pagos y transacciones (así como con los componentes y servicios en general);
- el trabajo de los ingenieros de datos en el aprendizaje automático;
- implementación y transformación de CI / CD.
Compartimos valiosa experiencia para que no cometa nuestros errores. ¡Esperamos que te sea de utilidad!
Nuestro rake es la clave de su éxito
Maxim Ogryzkov, administrador principal del sistema
La charla versará sobre el procesamiento de registros de varios centros de datos con acceso a través de una única interfaz. Analicemos las razones y las consecuencias de la actualización del clúster. Les hablaré sobre el transporte de entrega de registros desde diferentes sistemas y entornos, y dónde tiene que ver Apache Kafka con eso. Y también por qué no usamos logstash y cómo "adjuntar" un clúster con una solicitud en Kibana.
1:17 De qué se tratará la charla: un grupo de registros
1:43 ¿Cómo entran los registros en el grupo?
3:50 ¿Por qué elegimos Apache Kafka?
5:02 Rsyslog: ventajas de usar
9:00 ¿Dónde almacenar registros de diferentes DC?
12:08¿Qué pasa si la cantidad de datos es demasiado grande?
14:00 Actualización del clúster.
20:30 Nuestro rastrillo y soluciones
22:35 Translog
24:25 solicitud a granel
26:28 Opendistro-perfomance de analizador de
28:28 Índice Shrink
29:49 Librdkafka
31:37 Resumen: lo nuestro aspecto de racimo como ahora
Ingenieros de datos en aprendizaje automático
Evgeny Vinogradov, Jefe del Departamento de Desarrollo de Almacén de Datos
Una historia sobre cómo se ve el trabajo industrial en experimentos en ML: qué problemas se resuelven a nivel de modelo y cuáles solo a nivel de datos y cómo proporcionar un proceso de aprendizaje controlado.
1:40 Sobre el ponente
2:41 ¿Quién participa en los proyectos de DS?
8:30 ¿Qué es un proyecto de ciencia de datos?
14:15 Procedimiento en el proyecto DS
15:42 El proceso de recopilación de un conjunto de datos
20:26 Cómo
funciona todo en Apache Kafka 29:10 Qué sucede después de recopilar un
conjunto de datos 29:21¿Cómo elegir un modelo?
30:40 Ejemplos de problemas que un ingeniero de datos puede resolver
34:38 ¿ En qué tecnologías funciona todo esto?
35:03 Conclusiones del informe
CI / CD para ingeniero de datos: ida y vuelta
Anton Spirin, Desarrollador Senior de BI
Presentación sobre la implementación de los principios CI / CD en el desarrollo de BI, metas, su transformación y superación de dificultades.
2:00 Consulta sobre el orador
2:44 Descripción del problema
4:28 ¿Quién es un ingeniero de datos?
5:43 CI / CD - ¿Cuál es el trabajo de un ingeniero?
6:55 Más sobre la pila y los sistemas de información
8:00 Punto de partida: dónde empezamos
10:34 La primera etapa de cambios
15:50 Todo parece ir bien, pero ... la segunda etapa de mejoras
19:01 Casi demostración: JenkinsFile, Pipelines
20:44 ¿Qué obtuvimos en la salida?
22:43 ¿Cuánto tiempo tomó? Estadísticas de lanzamiento
23:37 Nuestros desafíos y lo que se podría haber hecho de manera diferente. Planes futuros
Todos los informes de la gran conferencia de TI YuMoneyDay . Los materiales sobre PM, pruebas y desarrollo móvil están en camino.