Cuando Cron falla

¡Hola!

Tenemos grandes informes nocturnos sobre métricas de productos que se envían a sus propietarios por la mañana. Hace un par de años, se recogieron con el Cron habitual, pero esta resultó ser una historia muy inestable. Cron requiere tener en cuenta ciertos matices y disciplina: si el informe no se recopila, debe reiniciar el script. Y puede que no se recopile por muchas razones: una de las bases de datos MySQL no respondió, o el servicio encuestado no respondió, o el servidor que ejecuta Cron se reinició por la noche o se estropeó. La mayoría de estos informes fueron creados por analistas que normalmente no tenían todo esto en cuenta. Porque son analistas y esa no es su tarea. Entonces comenzamos a buscar opciones que hicieran la vida más fácil para todos.

Y lo encontraron.

Airflow Kubernetes. .  , , Data Team,  – , - .

– , , . – , , . , , ,   ,    . , ,     , , , – , .

. – .  :  , . , production-, , . , . , . .

, - : . python, Cron' . , . , ,  – . : , , , .

DataTeam . , . 

: "", , .

-  – . , , ,  – . ,  ,  , . , ,  . Cron . , .

Cron' . , , - . Cron' . , , . .

 – , . , , . : , , - . - ( , ). , .

, ( ), . Kubernetes'.  ,  CronJob. , Cron'. :  , CronJob , . , , . , Cron , . CronJob "" ( : A cron job creates a job object about once per execution time of its schedule. ). "" , . .  CronJob .   .

,  Kubernetes' . ,  CronJob , , .  – , . , , , . , , , , - , , .

, . Airflow.

Airflow

(,  ). Arflow , .  – ( directed acyclic graph).

 – ,    . , , . Airflow . , .

– . Cron CronJob . Cron' , , CronJob – Kubernetes'.  , Airflow ,  Kubernetes', - . , . Airflow , , . .

, , Kubernetes'. Airflow    , , : KubernetesPodOperator KubernetesExecutor. KubernetesPodOperator: docker- Kubernetes'.

 kubernetes-client  API Kubernetes', Airflow.  configmap' , . KubernetesExecutor' : Airflow , , .

Airflow + KubernetesPodOperator + Kubernetes , , , Airflow Kubernetes, , - .

KubernetesPodOperator'

Kubernetes' Docker' Airflow. - SimpleHttpOperator' PythonOperator',  http- , . , , - .  – , -. , : , , , . Airflow.  – - , , ,   , .

, .

: . . BI- Metabase, . ().

 Airflow + KubernetesPodOperator + Kubernetes .

, " !"?

:

1. ;

2. , ;

3. , ;

4. , .
   
   , Airflow , / ;

5. , , ;

6. 5.

, "how to"  Airflow , .