我正在使用Cloud composer来编排我的气流实例,但不确定如何为气流工作者bash安装软件包。
以前我使用docker在google计算引擎实例上运行气流,很容易通过docker make文件指定需求。
作为kubernetes和Cloud作曲家的新手,我想知道我能为kubernetes / Cloud作曲家做些什么,就像我之前为docker所做的那样?
我希望为unix安装lzop
,还需要使用s3凭据更新gsutil boto配置文件。
如何将新的docker镜像拉入kubernetes并为pods重新创建它?
对不起,如果我的术语不正确,这对我来说是新的
答案 0 :(得分:1)
如果我理解你的问题,那么这就是我的答案。
Kubernetes是Docker的协调器,因此,在Kubernetes集群中,您可以使用由您为Docker构建的Airflow图像。
使用docker build <you_Dockerfile>
构建您自己的图像,将其推送到您的注册表,然后,您可以使用Kubernetes的Airflow部署YAML文件中的image: <your_registry>/<your_image>
部分中的图像。
在这里,您可以找到Setting Up Apache Airflow on Kubernetes的示例。
对于Cloud Composer,它是一个完全托管的工作流程编排服务,在 Apache Airflow上构建。它不是管理Airflow的工具。有关详细信息,您可以查看链接,其中有一个简短的视频说明:Cloud Composer
答案 1 :(得分:1)
目前,如果我正确阅读了文档,则无法修改Composer使用的图像。除非您在Kubernetes集群上部署自定义解决方案,否则我认为您无法将其扩展到Python库和Airflow插件之外。
您可以ssh到每个工作程序Compute Engine实例并在每台计算机上手动安装它。
您可以尝试通过BashOperator
运行ng2-opd-popup
,但我怀疑您会成功;不幸的是,Composer仍然是Beta产品,许多功能仍在制作中。