气流调度程序没有捡到笨蛋

Question

我目前在使用Airflow DAG时遇到了一些问题。 这是错误代码，我附加了气流用户界面行为：

DAG定义：         default_args = {             ＆＃39;所有者＆＃39;：＆＃39; Analytics＆＃39;，             ＆＃39; depends_on_past＆＃39;：错，             ＆＃39;重试＆＃39;：3，             ＆＃39; retry_delay＆＃39;：timedelta（分钟= 1），             ＆＃39; start_date＆＃39;：suite_start_date         }         main_dag = DAG（dag_id = suite_name，                        default_args = default_args，                        schedule_interval = suite_schedule，                        dagrun_timeout = timedelta（分钟= 60），                        max_active_runs = 1                        ）

我正在根据用户输入创建动态DAG：Airflow dynamic DAG and Task Ids

start_time和schedule_interval在我的Airflow设置中是动态的。

        

[2017-11-14 20：26：34,622] {base_task_runner.py:95} INFO - 子任务：某些任务实例失败：   [2017-11-14 20：26：34,622] {base_task_runner.py:95} INFO - 子任务：{（'Process_Hourly.process_hourly_1_meta'，'meta_delta_window_set_start'，datetime.datetime（2017,11,14,19,52,22） ，495538）），（'Process_Hourly.process_hourly_1_meta'，'meta_process_hourly_start'，datetime.datetime（2017,11,14,19,52,22,495538）），（'Process_Hourly.process_hourly_1_meta'，'install_device_ff'，datetime.datetime （2017,11,14,19,52,22,495538）），（'Process_Hourly.process_hourly_1_meta'，'install_player_ff'，datetime.datetime（2017,11,14,19,52,22,495538）），（' Process_Hourly.process_hourly_1_meta'，'collector_meta'，datetime.datetime（2017,11,14,19,52,22,495538）），（'Process_Hourly.process_hourly_1_meta'，'meta_delta_reprocess_set'，datetime.datetime（2017,11,14， 19,52,22,495538）），（'Process_Hourly.process_hourly_1_meta'，'install_device_attribution_ff'，datetime.datetime（2017,11,14,19,52,22,495538））}   [2017-11-14 20：26：34,622] {base_task_runner.py:95}信息 - 子任务：   [2017-11-14 20：26：34,622] {base_task_runner.py:95}信息 - 子任务：/usr/local/lib/python3.6/site-packages/airflow/www/app.py:23:FlaskWTFDeprecationWarning： “flask_wtf.CsrfProtect”已重命名为“CSRFProtect”，将在1.0中删除。   [2017-11-14 20：26：34,622] {base_task_runner.py:95} INFO - 子任务：csrf = CsrfProtect（）   [2017-11-14 20：26：34,622] {base_task_runner.py:95}信息 - 子任务：/usr/local/lib/python3.6/site-packages/airflow/ti_deps/deps/base_ti_dep.py:100： DeprecationWarning：生成器'_get_dep_statuses'引发了StopIteration   [2017-11-14 20：26：34,622] {base_task_runner.py:95} INFO - 子任务：对于self._get_dep_statuses（ti，session，dep_context）中的dep_status：   [2017-11-14 20：26：34,626] {base_task_runner.py:95} INFO - 子任务：回溯（最近一次调用最后一次）：   [2017-11-14 20：26：34,626] {base_task_runner.py:95}信息 - 子任务：文件“/ usr / local / bin / airflow”，第28行，   [2017-11-14 20：26：34,626] {base_task_runner.py:95}信息 - 子任务：args.func（args）   [2017-11-14 20：26：34,626] {base_task_runner.py:95} INFO - 子任务：文件“/usr/local/lib/python3.6/site-packages/airflow/bin/cli.py”，行422，在奔跑中   [2017-11-14 20：26：34,626] {base_task_runner.py:95} INFO - 子任务：pool = args.pool，   [2017-11-14 20：26：34,626] {base_task_runner.py:95} INFO - 子任务：文件“/usr/local/lib/python3.6/site-packages/airflow/utils/db.py”，行53，在包装中   [2017-11-14 20：26：34,626] {base_task_runner.py:95} INFO - 子任务：result = func（* args，** kwargs）   [2017-11-14 20：26：34,626] {base_task_runner.py:95}信息 - 子任务：文件“/usr/local/lib/python3.6/site-packages/airflow/models.py”，第1390行，在奔跑   [2017-11-14 20：26：34,626] {base_task_runner.py:95} INFO - 子任务：result = task_copy.execute（context = context）   [2017-11-14 20：26：34,626] {base_task_runner.py:95} INFO - 子任务：文件“/usr/local/lib/python3.6/site-packages/airflow/operators/subdag_operator.py”，行88，执行中   [2017-11-14 20：26：34,626] {base_task_runner.py:95} INFO - 子任务：executor = self.executor）   [2017-11-14 20：26：34,626] {base_task_runner.py:95} INFO - 子任务：文件“/usr/local/lib/python3.6/site-packages/airflow/models.py”，第3414行，在奔跑   [2017-11-14 20：26：34,626] {base_task_runner.py:95}信息 - 子任务：job.run（）   [2017-11-14 20：26：34,627] {base_task_runner.py:95}信息 - 子任务：文件“/usr/local/lib/python3.6/site-packages/airflow/jobs.py”，第201行，在奔跑   [2017-11-14 20：26：34,627] {base_task_runner.py:95}信息 - 子任务：self._execute（）   [2017-11-14 20：26：34,627] {base_task_runner.py:95} INFO - 子任务：文件“/usr/local/lib/python3.6/site-packages/airflow/jobs.py”，第2063行，在_execute中   [2017-11-14 20：26：34,627] {base_task_runner.py:95} INFO - 子任务：引发AirflowException（错误）   [2017-11-14 20：26：34,627] {base_task_runner.py:95} INFO - 子任务：airflow.exceptions.AirflowException：--------------------- ------------------------------   [2017-11-14 20：26：34,627] {base_task_runner.py:95} INFO - 子任务：某些任务实例失败：   [2017-11-14 20：26：34,627] {base_task_runner.py:95}信息 - 子任务：{（'Process_Hourly.process_hourly_1_meta'，'meta_delta_window_set_start'，datetime.datetime（2017,11,14,19,52,22） ，495538）），（'Process_Hourly.process_hourly_1_meta'，'meta_process_hourly_start'，datetime.datetime（2017,11,14,19,52,22,495538）），（'Process_Hourly.process_hourly_1_meta'，'install_device_ff'，datetime.datetime （2017,11,14,19,52,22,495538）），（'Process_Hourly.process_hourly_1_meta'，'install_player_ff'，datetime.datetime（2017,11,14,19,52,22,495538）），（' Process_Hourly.process_hourly_1_meta'，'collector_meta'，datetime.datetime（2017,11,14,19,52,22,495538）），（'Process_Hourly.process_hourly_1_meta'，'meta_delta_reprocess_set'，datetime.datetime（2017,11,14， 19,52,22,495538）），（'Process_Hourly.process_hourly_1_meta'，'install_device_attribution_ff'，datetime.datetime（2017,11,14,19,52,22,495538））}   [2017-11-14 20：26：34,627] {base_task_runner.py:95}信息 - 子任务：   [2017-11-14 20：26：36,319] {jobs.py:2125}信息 - 任务已退出，返回码为1

气流任务状态