我们正在尝试从Nexus部署带有压缩包的Airflow dag以及SparkSubmitOperator所需的配置文件。目录结构如下所示,
max-height: 450px !important;
我试图在subdag中运行spark-submit,它使用input.config作为spark的参数。但是,当使用配置文件压缩dag时,气流找不到文件。
但是,如果我们将配置文件替换为python文件,则可以正常工作。如果使用目录,Airflow也可以读取配置文件,而不是打包的dags。
在打包的dag中使用配置文件是否有任何限制?