我正在尝试将Cloud Composer与运行时间较长的DAG函数解析一起使用,该解析大约需要5分钟。
对于每个操作员,我都会从REST API服务中请求一些数据,但是对于我需要处理的每一批数据,此API服务大约需要一秒钟。
我不是只有一个运算符来处理API服务中的所有数据,而是为每个数据创建多个运算符,以便可以并行执行任务。这需要花费很多时间来解析,而且我会在云编写器中遇到[CRITICAL] WORKER TIMEOUT错误。
是否存在可以增加Cloud Composer中的Gunicorn工人的环境变量?