Dagster
dataops orchestration
Orquestador de datos moderno con assets-first approach
Prerrequisitos:
python
Ventajas y Desventajas
Ventajas
- + Asset-based approach moderno
- + Type system integrado
- + Testing first-class
- + UI excelente
- + Local development fácil
- + Enfoque en assets de datos (Software-Defined Assets)
- + Excelente observabilidad y linaje de datos
- + Testing integrado y facil
- + UI moderna con visualizacion de assets
- + Tipado fuerte y validacion
- + Integracion nativa con dbt
Desventajas
- - Menos maduro que Airflow
- - Comunidad más pequeña
- - Migración desde Airflow requiere esfuerzo
- - Conceptos nuevos que aprender (assets, ops, jobs)
- - Comunidad mas pequena que Airflow
- - Menos integraciones que Airflow
- - Puede ser overkill para pipelines simples
- - Dagster Cloud tiene costos
Casos de Uso
- Modern data orchestration
- Asset lineage tracking
- Data quality pipelines
- Analytics engineering
- Pipelines de datos basados en assets
- Data mesh y data products
- Integracion con dbt
- Orquestacion de ML pipelines
- Data quality y observabilidad
- Plataformas de datos modernas