我有一个python / django项目(在docker容器中运行)。有一个数据收集工作流是通过celery任务实现的,这些任务相互依赖并并行运行。
我想将所有这些逻辑迁移到apache气流中,因为我认为它适合我的需求,因此启动和重新启动任务,构建更复杂的工作流,监视和调试将更加方便。
我以前从未使用过气流。我的计划理智吗?我从哪说起呢?我应该使用什么执行者?
答案 0 :(得分:2)
这很有意义,Apache气流上也有相同的芹菜执行器。
https://airflow.apache.org/docs/stable/executor/index.html
您可以复制代码以在下面的气流泊坞窗上进行测试。
https://github.com/puckel/docker-airflow
在气流工具上,您可以通过dag上的任务来管理,安排和监视所有这些代码
上面有dag例子
https://github.com/apache/airflow/tree/master/airflow/example_dags
您可以从此开始-
https://github.com/apache/airflow/blob/master/airflow/example_dags/tutorial.py