Cloud Composer-[CRITICAL]工作人员超时

时间:2019-06-27 18:59:38

标签: airflow google-cloud-composer

我正在尝试将Cloud Composer与运行时间较长的DAG函数解析一起使用,该解析大约需要5分钟。

对于每个操作员,我都会从REST API服务中请求一些数据,但是对于我需要处理的每一批数据,此API服务大约需要一秒钟。

我不是只有一个运算符来处理API服务中的所有数据,而是为每个数据创建多个运算符,以便可以并行执行任务。这需要花费很多时间来解析,而且我会在云编写器中遇到[CRITICAL] WORKER TIMEOUT错误。

是否存在可以增加Cloud Composer中的Gunicorn工人的环境变量?

0 个答案:

没有答案