docker气流配置问题(puckel / docker)

时间:2018-09-22 04:10:50

标签: python docker airflow

拉出docker映像from here后,我在附加一个外壳后意识到教程文件不在airflow.cg中指定的dag文件夹中(dags_folder = / usr / local / airflow / dags,dags文件夹确实不存在)。 实际上,可以在这里找到该教程文件:

/usr/local/lib/python3.6/site-packages/airflow/example_dags/tutorial.py

此外,运行气流list_dag会引发有关未安装bieng的kubernetes的警告,并且我缺少为像vim这样的应用程序运行apt-get编辑py文件甚至运行ps来查看进程的权限。

由于我是docker和airflow的新手,构建时我需要在dockerfile中进行任何更改吗?

注意:我正在使用Windows的Docker来构建linux映像。

1 个答案:

答案 0 :(得分:3)

有关Kubernetes的警告来自以下事实:airflow[kubernetes]模块默认未由Puckel的Dockerfile安装,但是除非您想使用Airflow的KubernetesPodOperator,否则不必担心。

在容器内部时,您没有编辑python模块的权限也是正常的,因为在那里您以用户airflow的身份登录,而不是以root身份登录,并且该用户仅具有对$的写入权限AIRFLOW_HOME目录。通常,从容器内部编辑文件很杂乱,应该避免这种情况。

如果我猜对了,那么您要做的就是从airflow-docker加载自己的dag。如果是这样,您可以运行以下内容:

docker run -d -p 8080:8080 -v <local_path_to_your_dags>:/usr/local/airflow/dags  puckel/docker-airflow webserver

在这里,您将机器上的本地文件夹安装到容器中的HOME / dags文件夹中,这是用于加载dag的文件夹。

相关问题