用于在气流上运行数据流作业的jar路径

Question

首先，我是气流新手。我想要做的是使用气流运行数据流作业。 搜索了许多链接，发现我们需要创建一个jar文件然后使用airflow脚本我们就可以运行它了。有谁知道这个罐子应该放在哪里，意味着谷歌云桶或本地路径。我们可以通过气流直接运行模板

Answer 1

您可以在此处找到Airflow项目的Google Cloud Dataflow operator。

代码中有一个关于如何指定数据流作业的示例; jar的路径在那里定义（参见代码中的第50行）。您需要在计划的机器上为其提供jar路径（因此Airflow机器上的本地路径）。