气流太聪明了,它试图在jupyter笔记本检查点文件夹“ dags / .ipynb_checkpoints /”中拾取损坏,从而引发错误。
有没有一种方法可以配置气流以忽略特定模式的文件夹?像我那样.gitignore?
谢谢
答案 0 :(得分:2)
您可以在.airflowignore
文件夹中创建dags
:
.ipynb_checkpoints
来自docs:
.airflowignore
文件指定DAG_FOLDER中Airflow有意忽略的目录或文件。 .airflowignore
中的每一行都指定一个正则表达式模式,其名称(非DAG id)与任何模式匹配的目录或文件将被忽略(在幕后,re.findall()
用于匹配该模式) 。总体来说,它的工作方式类似于.gitignore
文件。
.airflowignore
文件应放在DAG_FOLDER中。例如,您可以准备一个包含内容的.airflowignore
文件
project_a
tenant_[\d]
然后DAG_FOLDER中的文件project_a_dag_1.py
,TESTING_project_a.py
,tenant_1.py
,project_a/dag_1.py
和tenant_1/dag_1.py
之类的文件将被忽略(如果目录名称与以下任何一个模式,此目录及其所有子文件夹都不会被Airflow扫描,这可以提高DAG查找的效率。
.airflowignore
文件的范围是其所在目录及其所有子文件夹。您也可以在DAG_FOLDER中为子文件夹准备.airflowignore
文件,该文件仅适用于该子文件夹。
答案 1 :(得分:1)
在您希望Airflow忽略的目录中放置一个名为.airflowignore
的文件。