无法将自定义模块导入Airflow Docker中的dag脚本

Question

我在 puckel / docker-airflow 容器中有一个故障，在dag脚本中，我从另一个脚本中导入了一个自定义模块：

from app_store_reviews.app_store_reviews.spiders.list_ids import ListIdsSpider

位置：

ListIdsSpider是 list_ids.py 中的一个类。在此路径中= 'usr / local / airflow / dags / app_store_reviews / app_store_reviews / spiders'

但是我从气流中得到了这种错误： Broken DAG: [/usr/local/airflow/dags/reviews_analysis_dag.py] No module named 'app_store_reviews.app_store_reviews.spiders.list_ids'

我该如何解决？也许将此路径添加到 PYTHONPATH ？如果可以的话，如何在运行容器中执行此操作？

Answer 1

好像您在Airflow Web UI中看到一个错误。 气流调度程序在扫描您的dag文件时会抛出该错误。

您需要确保将自定义模块安装在气流调度程序环境中。