标签: job-scheduling airflow orchestration luigi data-pipeline
我当前的项目需要自动化和计划执行许多任务(复制文件,在新文件到达目录时发送电子邮件,执行分析工作等)。我的计划是为每个任务编写一些单独的shell脚本,但需要一个工作流程编排/作业流程管理工具。
我知道许多工作流程编排工具,例如Airflow,Luigi,Azkaban,并且过去也使用过它们,但这些工具似乎是为* nix系统设计的,除非我弄错了,否则他们不会这样做。 t支持Windows。
实现这一目标有哪些好的工具和解决方案?
答案 0 :(得分:0)
数据工程师的杰出指南https://github.com/pawl/awesome-etl
EDIT 显然,因为添加了gunicorn,气流与窗户不兼容。