• qué tipo de bestia es este Airflow, de qué componentes se compone y cómo interactúan entre sí
• sobre las principales entidades de Airflow: pipelines llamados DAG, Operator y algunas cosas más
• cómo tener éxito en el desarrollo de Airflow
• cómo implementamos la generación de pipelines y la llamada "escritura declarativa de pipelines"
• sobre los pros y los contras de usar Airflow

¿Qué es Airflow?

Arquitectura de flujo de aire

Componentes de flujo de aire

• La primera advertencia es que solo se puede ejecutar una instancia de Scheduler a la vez. Esto significa que el modo de alta disponibilidad no es posible actualmente (los desarrolladores planean agregar Scheduler HA a Airflow versión 2.0).
• : , - . , - , .

• El primero, el más simple, es el SequentialExecutor. Lanza de forma secuencial las tareas entrantes y pausa el programador mientras dure su ejecución.
• LocalExecutor , , LocalExecutor . : - SQLite, LocalExecutor SequentialExecutor.
• CeleryExecutor , . Celery – , RabbitMQ Redis. , .
• DaskExecutor Dask – .
• KubernetesExecutor pod Kubernetes.
• DebugExecutor IDE.

Entidades de Apache Airflow

dag = DAG(
   dag_id="load_some_data",
   schedule_interval="0 1 * * *",
   default_args={
       "start_date": datetime(2020, 4, 20),
       "owner": "DE",
       "depends_on_past": False,
       "sla": timedelta(minutes=45),
       "email": "<your_email_here>",
       "email_on_failure": True,
       "retries": 2,
       "retry_delay": timedelta(minutes=5)
   }
)

Punto muy importante: dado que Airflow fue desarrollado por una empresa internacional, solo funciona en UTC. Por el momento, no hay una forma sensata de hacer que Airflow funcione en una zona horaria diferente, por lo que debe recordar constantemente la diferencia entre nuestra zona horaria y UTC. En la versión 1.10.10, fue posible cambiar la zona horaria en la interfaz de usuario, pero esto solo se aplica a la interfaz web, las canalizaciones aún se ejecutarán en UTC.

Operador

run_sql = HiveOperator(
   dag=dag,
   task_id="run_sql",
   hive_cli_conn_id="hive",
   hql="""
       INSERT OVERWRITE TABLE some_table
       SELECT * FROM other_table t1
       JOIN another_table t2 on ...
       WHERE other_table.dt = '{{ ds }}'
   """
)

notify = SlackAPIPostOperator(
   dag=dag,
   task_id="notify_slack",
   slack_conn_id="slack",
   token=token,
   channel="airflow_alerts",
   text="Guys, I'm done for {{ ds }}"
)

run_sql >> notify

Idempotencia

Operadores de flujo de aire más comunes

• BashOpetator y PythonOperator. Todo está claro con ellos: envían un comando bash y una función de python para su ejecución, respectivamente.
• Existe una gran variedad de operadores para enviar consultas a varias bases de datos. Se admiten Postgres estándar, MySQL, Oracle, Hive, Presto. Si por alguna razón no hay un operador para su base de datos favorita, puede usar un JdbcOperator más general o escribir el suyo propio, Airflow lo permite.
• Sensor – , . , - . , , . , : 3 , . . , , .
• BranchPythonOperator – , , python , , .
• DockerOpetator Docker- . , Docker- , . , .
• KubernetesPodOperator pod Kubernetes.
• DummyOperator , .

Lamoda

• – LamodaDockerOperator. , : - Hadoop, . LamodaDockerOperator Spark- , python.
• LamodaHiveperator – , . Hive. , - , , . , , HiveCliHook HiveServer2Hook, .
• – ExternalTaskSensor. . , Hadoop . , , , - , , . , - HDFS, Airflow.
• BashOperator, PythonOperator – , bash- python .
• , . - , .

Airflow

• Variables – , , , . , . , Hive, HDFS, . dev- prod-, .
• Connections – , . Airflow : http ftp, .
• Hooks – , .
• SLA -. , . SLA , , - - . - : - , Airflow .
• – XCom, cross-communication. : , json-. – 48 .
• – , . , . , 5, , , , .

Cómo tener éxito en el desarrollo del flujo de aire

• Es útil mantener cada canalización (o generador de canalizaciones, más sobre eso a continuación) en un archivo separado. Inmediatamente sé a qué archivo debo ir para ver la canalización o el generador requeridos.
• , , . , -, . , - , . : , , .
• – schedule_interval start_date dag_id. , Airflow , - -. DAGS , Scheduler, . , , dag_id. , .
• catchup. True, Airflow , start_date . , . False Airflow . , Airflow True ( -).
• – . , python , airflow DAG, , DAG. . , , . REST API, requests.get() .

:

from libs.dag_from_config.dag_generator import DagGenerator
from libs.runners.docker_runner import DockerRunner

generator = DagGenerator(config_dir='dag_configs/docker_runner', prefix='docker')
dags = generator.generate(task_runner=DockerRunner)

for dag in dags:
   globals()[dag.dag_id] = dag  #     

docker_image = "docker_registry/attribution/calculation:1.1.0"

dags {
 attribution {
   owner = "RND"
   name = "attribution"
   start_date = "20190601"
   emails = [...]
   schedule_interval = "0 1 * * *"
   depends_on_past = true
   concurrency = 4

   description = """
   -    z_log
   -        
   -  ,    
   -     
   """

   tags = ["critical"]

docker {
 connections {
   LMD_DWH = "dwh"
 }

 containers {
   desktop {
     image = ${docker_image}
     connections = [LMD_DWH]

     environment {
       LMD_YARN_QUEUE = "{{ var.value.YARN_QUEUE }}"
       LMD_INSTANCES = 60
       LMD_MEMORY_PER_INSTANCE = "4g"
       LMD_ZLOG_SOURCE = "z_log_db.z_log"
       LMD_ATTRIBUTION_TABLE = "{{ var.value.HIVE_DB_DERIVATIVES }}.z_log_attribution"
       LMD_ORDERS_TABLE = "rocket_dwh_bl.fct_orderitem_detail"
       LMD_PLATFORMS = "desktop"

       LMD_RUN_DATE = "{{ ds_nodash }}"
     }
   }
   mobile {...}
   iOS {...}
   Android {...}
 }
 tasks = [[desktop, mobile, iOS, Android]]
}

  awaits {
     z_log_compaction {
       dag = "compactor_daily_23_21_A_A_A"
       task = "compact_z_log_db_z_log"
       timedelta = 3hr37m
     }
     oracle_bl_fct_orderitem_detail {
       dag = "await_bl_fct_orderitem_detail_0_1_A_A_A"
     }
   }
 }
}

docker_image = "docker_registry/attribution/calculation:1.1.0"

dags {
 attribution {
   owner = "RND"
   name = "attribution"
   start_date = "20190601"
   emails = [...]
   schedule_interval = "0 1 * * *"
   depends_on_past = true
   concurrency = 4

   description = """
   -    z_log
   -        
   -  ,    
   -     
   """

   tags = ["critical"]


   docker {
     connections {
       LMD_DWH = "dwh"
     }

     containers {
       desktop {
         image = ${docker_image}
         connections = [LMD_DWH]

         environment {
           LMD_YARN_QUEUE = "{{ var.value.YARN_QUEUE }}"
           LMD_INSTANCES = 60
           LMD_MEMORY_PER_INSTANCE = "4g"
           LMD_ZLOG_SOURCE = "z_log_db.z_log"
           LMD_ATTRIBUTION_TABLE = "{{ var.value.HIVE_DB_DERIVATIVES }}.z_log_attribution"
           LMD_ORDERS_TABLE = "rocket_dwh_bl.fct_orderitem_detail"
           LMD_PLATFORMS = "desktop"

           LMD_RUN_DATE = "{{ ds_nodash }}"
         }
       }
       mobile {...}
       iOS {...}
       Android {...}
     }
     tasks = [[desktop, mobile, iOS, Android]]
   }


   awaits {
     z_log_compaction {
       dag = "compactor_daily_23_21_A_A_A"
       task = "compact_z_log_db_z_log"
       timedelta = 3hr37m
     }
     oracle_bl_fct_orderitem_detail {
       dag = "await_bl_fct_orderitem_detail_0_1_A_A_A"
     }
   }
 }
}

• 2 puntos en el bloque de espera convertidos en dos sensores que esperan la ejecución del pipeline básico,
• Las 4 tareas que especificamos en el bloque docker se convirtieron en 4 tareas en ejecución en paralelo,
• Agregamos un DummyOperator entre los dos bloques de operadores para que no haya una red de conexiones entre tareas.

Que queremos hacer a continuación

Por qué elegimos Airflow

1. En primer lugar, esto es Python, donde con la ayuda de dos bucles y un par de condiciones, puede crear una canalización elegante y que funcione correctamente. Y no será necesario describirlo en una gran parte de XML. Además, casi todo el ecosistema de Python y todo su zoológico de bibliotecas están disponibles de fábrica, que se pueden usar como desee.
2. La ausencia de XML simplifica enormemente la revisión del código. Escribimos el código de la canalización y las configuraciones para ello, y todo es genial, todo funciona. De hecho, puede arrastrar en XML o cualquier otro formato de configuración, pero esto ya es cuestión de gustos.
3. unit-, , .
4. , «», . Airflow . , , .
5. Airflow ( ).
6. Active Directory RBAC (role-based access control, )
7. Worker Celery Kubernetes.
8. open source-, , .
9. Airflow , . .
10. : statsd , Sentry – , Airflow , . Airflow-exporter Prometheus.

Airflow,

1. – : , , execution_date – , .
2. - -, , , Apache NiFi. – code-review diff- , .
3. Scheduler - .
4. – , . – .
5. Airflow : . , , . RBAC ( ) , UI (, , ). RBAC – security Flask, .
6. : , , -, , . , .

Airflow

• crontab’a cron .
• Python.
• - Docker, , .
• , , real time.
• Airflow , “, , , Z – ”.

Airflow

• –
• Astronomer, hosted- Airflow Kubernetes. –
• Astronomer Airflow –
• Airflow () Slack ().