使用Airflow在另一台计算机上安排任务

时间:2017-03-07 12:00:24

标签: airflow

我在Ubuntu远程服务器上成功设置了带有Postgres数据库的Airflow,看起来很棒。

我能够连接到我的数据仓库(一个单独的服务器),并轻松地将查询作为任务发出。这很简单,因为安装了Airflow的服务器实际上是在发出查询。

由于我现在只是测试Airflow,它安装在一个相当小的低功耗服务器上。有没有办法安排任务在我强大的Windows桌面上运行?或者利用我的本地机器下载数据/流程文件的最佳方法是什么,并且仍然让Airflow知道任务已成功完成?

1 个答案:

答案 0 :(得分:11)

Airflow旨在支持工作负载的分配。如果您运行airflow workers在Windows计算机上执行大部分数据处理,那么您可以在较小的计算机上运行airflow schedulerairflow webserver时使用计算能力,因为这只是保持触发新任务,检查心跳和更新任务状态。要使此设置生效,您必须使用CeleryExecutor。我在第一次设置时发现this blog很有用