Apache Airflow

Acerca de Apache Airflow

Apache Airflow permite definir, programar y supervisar flujos de trabajo formados por tareas que dependen unas de otras. En un flujo de datos típico, define un paso para recoger la entrada, otro para transformarla y uno final para comprobar o publicar el resultado. La interfaz web muestra el estado de las ejecuciones y da acceso a los registros de las tareas cuando un paso falla. Airflow encaja en equipos con procesos recurrentes por lotes y alguien que administre el planificador, los procesos de ejecución y los servicios auxiliares. Diseña tareas que se puedan repetir sin duplicar los resultados al reintentar. Verifica la zona horaria, la programación y la estrategia para rellenar ejecuciones pasadas con un flujo representativo. Un flujo continuo de eventos puede requerir un diseño distinto al de los procesos programados de Airflow.