是否可以在Google Cloud Composer上安装github存储库

时间:2018-10-17 02:56:34

标签: github google-cloud-platform airflow google-cloud-composer

作为标题,我们可以在 requirements.txt 文件中设置pypi包并使用命令

gcloud beta composer environments update env_name --update-pypi-packages-from-file requirements.txt --location location

更新云编写器环境。

但是它是否支持在requirements.txt中安装自定义github存储库?我尝试添加链接,如:

pkg_name @ git+ssh://git@github.com/my_account/pkg_repo.git#master

它不起作用。

谢谢!

更新: 我有一个解决方法是将库放入插件。但是,在我们看来,最好的策略是从我认为的github安装一个软件包。

1 个答案:

答案 0 :(得分:1)

否,它不支持以这种方式安装自定义库。 In docs here,您将看到--update-pypi-packages仅打算与Python Package Index中的库一起使用的方式:

  

您可以从Python软件包索引中安装Python依赖项   通过Google Cloud Platform Console或通过部分制作   使用gcloud命令行工具将请求更新到环境。

您有三种选择:

  

安装本地Python库。

     

使用插件功能。

     

使用KubernetesPodOperator。

使用local Python library进行安装非常简单: 1.在作曲家GCS存储桶中,在dags文件夹中创建一个dependencies文件夹,并在其中添加您的库模块(不要忘记添加必要的“ init .py”文件( s))。 2.然后只需执行以下操作:

from dependencies import your_module