从气流中的dag子文件夹导入文件

Question

我正在编写一个针对某些事物进行计算的python脚本。这就是为什么脚本与dags文件夹分开的原因。在该脚本中，我必须导入一个文件。但是我没有成功，因为它出错了 FileNotFoundError 。

这是我的目录：

dags/
- my_dag.py
  sub_folder/
  - __init__.py
  - my_functions.py
    meta/
    - file.csv

my_functions.py包含DAG中所需的计算脚本。它必须读取位于 meta 文件夹中的 file.csv 。

在my_functions.py中，我写道：

file_df = pd.read_csv('meta/file.csv')

但是找不到文件。

Answer 1

使用AIRFLOW_HOME env变量并提供完整路径。

import os
AIRFLOW_HOME = os.getenv('AIRFLOW_HOME')
file_df = pd.read_csv(AIRFLOW_HOME + '/dags/sub_folder/meta/file.csv')