气流芹菜带Redis-6小时后超时

Question

在使用airflow 1.9.0作为代理的CeleryExecutor和redis方面，我遇到了一些麻烦。

我需要完成一个需要6个多小时才能完成的工作，我正在失去芹菜工人。 在GitHub中查看气流代码，有一个硬编码配置：

https://github.com/apache/incubator-airflow/blob/d760d63e1a141a43a4a43daee9abd54cf11c894b/airflow/config_templates/default_celery.py#L31

我该如何绕过这个问题？

Answer 1

这可以在airflow.cfg中的celery_broker_transport_options部分下进行配置。

查看提交内容，添加这种可能性https://github.com/apache/incubator-airflow/commit/be79f87f36b6b99649e0a1f6ab92b41640b3beaa