Question

我们在docker实例中设置了rabbitmq，mysql db和celery executor设置的气流设置。通过如下运行命令对第一个单独步骤/操作符进行分类可以起作用。

airflow run wfm_model_training_client_1_queue_11 fetch_top_funnel_data  2016-03-03

然而，当我们通过如下的回填命令触发整个dag时，我们在芹菜执行期间遇到以下错误。显然这是芹菜的一个错误，但是我如何提取更多的日志来调试它。

回填命令

airflow backfill wfm_model_training_client_1_queue_11 -s 2016-03-03 -e 2016-03-03

回溯列中的celery_taskmeta表中的Celery错误

Traceback (most recent call last):
  File "/usr/lib/python2.7/site-packages/celery/app/trace.py", line 367, in trace_task
    R = retval = fun(*args, **kwargs)
  File "/usr/lib/python2.7/site-packages/celery/app/trace.py", line 622, in __protected_call__
    return self.run(*args, **kwargs)
  File "/usr/lib/python2.7/site-packages/airflow/executors/celery_executor.py", line 59, in execute_command
    except subprocess.CalledProcessError as e:
AirflowException: Celery command failed

Answer 1

该错误是由于一些泡菜相关的问题。我通过将--donot_pickle args传递给回填命令来绕过这个问题。

通过更新的命令

解决了这个问题

{{1}}

芹菜执行期间的气流错误

1 个答案: