如何读取压缩的dag文件夹中的config / properties文件?

时间:2018-12-19 15:11:21

标签: airflow airflow-scheduler

我们正在尝试从Nexus部署带有压缩包的Airflow dag以及SparkSubmitOperator所需的配置文件。目录结构如下所示,

max-height: 450px !important;

我试图在subdag中运行spark-submit,它使用input.config作为spark的参数。但是,当使用配置文件压缩dag时,气流找不到文件。

但是,如果我们将配置文件替换为python文件,则可以正常工作。如果使用目录,Airflow也可以读取配置文件,而不是打包的dags。

在打包的dag中使用配置文件是否有任何限制?

0 个答案:

没有答案