我有一个自定义气流图像,其中包含一些python软件包。我在本地kubernetes集群中运行它。我在气流中创建了一个DAG,它使用了python软件包之一,并且工作得很好。 但是,如果我使用其他不在我的自定义基本映像(imageio或任何其他映像)中的python软件包,则会给我模块未找到错误。
因此我在Dockerfile中添加了“ RUN pip3 install imageio == 2.8.0”行(或任何其他软件包),首先,它给了我警告:python install warning
现在,导入错误不再存在,但是如果我运行DAG,它将失败,而不会输出任何日志。 因此,接下来,我添加了“ ENV PATH =“ / usr / local / airflow / .local / bin:$ {PATH}”行,但还是一样。
我猜我的DAG无法找到正在安装的额外python软件包,或者更清楚地讲,正在创建的Pod中没有这些额外的python软件包。
但是,如果我执行“ docker run -it {image_name} bash”并在python shell内键入import imageio
,它将正常工作。
是否有一些配置文件,我需要在其中提及我想要的其他python软件包,以便运行DAG的Pod可以注册这些软件包?
还是可以在values.yaml文件中指定它?