Apache Airflow
dataops orchestration
Plataforma de orquestación de workflows de datos
Prerrequisitos:
python
Ventajas y Desventajas
Ventajas
- + Estándar de la industria
- + DAGs como código Python
- + UI para monitoreo
- + Ecosistema de operadores enorme
- + Comunidad activa
- + Estandar de la industria para orquestacion de datos
- + UI web completa para monitoreo
- + Gran ecosistema de operadores y providers
- + Workflows como codigo (DAGs en Python)
- + Escalable para miles de tareas
- + Comunidad muy activa y madura
Desventajas
- - Puede ser complejo de operar
- - Scheduler single point of failure
- - Configuración inicial demandante
- - Configuracion inicial compleja
- - Consume bastantes recursos
- - Curva de aprendizaje pronunciada
- - Debugging puede ser dificil
- - No ideal para tareas en tiempo real
Casos de Uso
- ETL/ELT pipelines
- Data engineering workflows
- Batch processing
- ML pipeline orchestration
- Pipelines de ETL/ELT
- Orquestacion de pipelines de ML
- Automatizacion de reportes
- Integracion de datos empresariales
- Workflows de procesamiento batch
- Coordinacion de microservicios