如何在kubernetes上为Google云作曲家

时间:2018-06-13 15:16:03

标签: docker kubernetes airflow google-cloud-composer

我正在使用Cloud composer来编排我的气流实例,但不确定如何为气流工作者bash安装软件包。

以前我使用docker在google计算引擎实例上运行气流,很容易通过docker make文件指定需求。

作为kubernetes和Cloud作曲家的新手,我想知道我能为kubernetes / Cloud作曲家做些什么,就像我之前为docker所做的那样?

我希望为unix安装lzop,还需要使用s3凭据更新gsutil boto配置文件。

如何将新的docker镜像拉入kubernetes并为pods重新创建它?

对不起,如果我的术语不正确,这对我来说是新的

2 个答案:

答案 0 :(得分:1)

如果我理解你的问题,那么这就是我的答案。

Kubernetes是Docker的协调器,因此,在Kubernetes集群中,您可以使用由您为Docker构建的Airflow图像。

使用docker build <you_Dockerfile>构建您自己的图像,将其推送到您的注册表,然后,您可以使用Kubernetes的Airflow部署YAML文件中的image: <your_registry>/<your_image>部分中的图像。 在这里,您可以找到Setting Up Apache Airflow on Kubernetes的示例。

对于Cloud Composer,它是一个完全托管的工作流程编排服务, Apache Airflow上构建。它不是管理Airflow的工具。有关详细信息,您可以查看链接,其中有一个简短的视频说明:Cloud Composer

答案 1 :(得分:1)

目前,如果我正确阅读了文档,则无法修改Composer使用的图像。除非您在Kubernetes集群上部署自定义解决方案,否则我认为您无法将其扩展到Python库和Airflow插件之外。

您可以ssh到每个工作程序Compute Engine实例并在每台计算机上手动安装它。

您可以尝试通过BashOperator运行ng2-opd-popup,但我怀疑您会成功;不幸的是,Composer仍然是Beta产品,许多功能仍在制作中。