如何将Airflow与Github集成以运行脚本

Question

如果我们在github存储库帐户中维护代码/脚本，是否有任何方法可以从Github存储库复制这些脚本并在其他群集（可以是Hadoop或Spark）上执行。

气流是否可以让任何操作员连接到Github来获取此类文件？

在Github中维护脚本将提供更大的灵活性，因为代码中的每个更改都将直接反映并使用。

关于这种情况的任何想法都将真正有帮助。

Answer 1

您可以将GitPython用作PythonOperator任务的一部分，以按照指定的时间表运行请求。

import git 

g = git.cmd.Git( git_dir )
g.pull()

别忘了确保您已添加相关密钥，以便气流工作人员有权提取数据。