从Django芹菜任务迁移到Apache气流

时间:2020-08-29 15:11:48

标签: django celery airflow celery-task

我有一个python / django项目(在docker容器中运行)。有一个数据收集工作流是通过celery任务实现的,这些任务相互依赖并并行运行。

我想将所有这些逻辑迁移到apache气流中,因为我认为它适合我的需求,因此启动和重新启动任务,构建更复杂的工作流,监视和调试将更加方便。

我以前从未使用过气流。我的计划理智吗?我从哪说起呢?我应该使用什么执行者?

1 个答案:

答案 0 :(得分:2)

这很有意义,Apache气流上也有相同的芹菜执行器。

https://airflow.apache.org/docs/stable/executor/index.html

您可以复制代码以在下面的气流泊坞窗上进行测试。

https://github.com/puckel/docker-airflow

在气流工具上,您可以通过dag上的任务来管理,安排和监视所有这些代码

上面有dag例子

https://github.com/apache/airflow/tree/master/airflow/example_dags

您可以从此开始-

https://github.com/apache/airflow/blob/master/airflow/example_dags/tutorial.py