Airflow Dag文件夹-如何忽略笔记本检查点

时间:2018-12-06 22:19:13

标签: jupyter-notebook airflow

气流太聪明了,它试图在jupyter笔记本检查点文件夹“ dags / .ipynb_checkpoints /”中拾取损坏,从而引发错误。

有没有一种方法可以配置气流以忽略特定模式的文件夹?像我那样.gitignore?

谢谢

2 个答案:

答案 0 :(得分:2)

您可以在.airflowignore文件夹中创建dags

.ipynb_checkpoints

来自docs

.airflowignore文件指定DAG_FOLDER中Airflow有意忽略的目录或文件。 .airflowignore中的每一行都指定一个正则表达式模式,其名称(非DAG id)与任何模式匹配的目录或文件将被忽略(在幕后,re.findall()用于匹配该模式) 。总体来说,它的工作方式类似于.gitignore文件。

.airflowignore文件应放在DAG_FOLDER中。例如,您可以准备一个包含内容的.airflowignore文件

project_a
tenant_[\d]

然后DAG_FOLDER中的文件project_a_dag_1.pyTESTING_project_a.pytenant_1.pyproject_a/dag_1.pytenant_1/dag_1.py之类的文件将被忽略(如果目录名称与以下任何一个模式,此目录及其所有子文件夹都不会被Airflow扫描,这可以提高DAG查找的效率。

.airflowignore文件的范围是其所在目录及其所有子文件夹。您也可以在DAG_FOLDER中为子文件夹准备.airflowignore文件,该文件仅适用于该子文件夹。

答案 1 :(得分:1)

在您希望Airflow忽略的目录中放置一个名为.airflowignore的文件。