Airflow支持跨数据中心?

时间:2018-05-24 20:12:46

标签: airflow data-pipeline

我们希望使用Apache Airflow来协调跨全球数据中心(地区)的工作。据我所知,实现这项工作的唯一方法是为所有任务提供访问/权限,以直接写入某些暴露于云的数据库。有谁知道更好的方法来实现这个?我希望有一种方法可以让任务通过消息队列异步地与中央Airflow数据库进行通信,但我没有看到这一点。有什么建议吗?

1 个答案:

答案 0 :(得分:0)

据我所知,需要一个Airflow内部的中央数据库。你现在无法摆脱它。

请参阅文档:https://airflow.apache.org/configuration.html?highlight=initdb#setting-up-a-backend