我在Ubuntu远程服务器上成功设置了带有Postgres数据库的Airflow,看起来很棒。
我能够连接到我的数据仓库(一个单独的服务器),并轻松地将查询作为任务发出。这很简单,因为安装了Airflow的服务器实际上是在发出查询。
由于我现在只是测试Airflow,它安装在一个相当小的低功耗服务器上。有没有办法安排任务在我强大的Windows桌面上运行?或者利用我的本地机器下载数据/流程文件的最佳方法是什么,并且仍然让Airflow知道任务已成功完成?
答案 0 :(得分:11)
Airflow旨在支持工作负载的分配。如果您运行airflow workers
在Windows计算机上执行大部分数据处理,那么您可以在较小的计算机上运行airflow scheduler
和airflow webserver
时使用计算能力,因为这只是保持触发新任务,检查心跳和更新任务状态。要使此设置生效,您必须使用CeleryExecutor
。我在第一次设置时发现this blog很有用