Question

我的本地Airflow上运行了DAG。我在Cloud Composer中吃了午餐，想将DAG移到那里。当添加第一个DAG文件时，调度程序将显示此错误：

回溯（最近通话最近）：文件 process_file中的“ /usr/local/lib/airflow/airflow/models.py”，第363行 m = imp.load_source（mod_name，filepath）文件 load_source模块中的“ /usr/local/lib/python3.6/imp.py”行172 = _load（spec）文件“”，行684，在_load文件“”，行，_load_unlocked文件，行665 exec_module中的“”，第674行 get_code中的文件“”，行781 在第741行的文件“”中 source_to_code文件“”，第219行，在 _call_with_frames_removed文件“ /home/airflow/gcs/dags/testdag.py”，第95行“开始日期”：datetime（2018，12，05），

这是第95行：

args = {
    'owner': 'Airflow',
    'start_date': datetime(2018, 12, 05),
    'retries': 5,
    'retry_delay': timedelta(minutes=5)
}

以前从未遇到此错误。

Answer 1

如果您要运行DAG并从历史日期开始追赶，则将过去的日期指定为start_date

尝试给予

from datetime import datetime, timedelta

args = {
    'owner': 'Airflow',
    'provide_context': True,
    'depends_on_past': False,
    'start_date': datetime.combine(datetime.today(),datetime.min.time()),
    'retries': 5,
    'retry_delay': timedelta(minutes=5)
}

Answer 2

可以是您在start_date中输入的日期值。尝试仅在5中提供datetime(2018, 12, 05)，然后再次更新DAG文件夹。

添加第一个dag时出现Cloud Composer调度程序错误

2 个答案: