MapReduce任务在父管道中运行,当然我们都知道它们可以运行很长时间。但与此同时,管道api记录了管道必须在10分钟内完成(https://github.com/GoogleCloudPlatform/appengine-pipelines/wiki/Python)。理解这个的正确方法是什么?
感谢。
答案 0 :(得分:0)
管道文档真的很旧......编写时,任务仅限于10分钟。现在,您可以使用基本/手动缩放来配置非默认模块(以前称为“后端”),这将允许任务运行24小时
https://cloud.google.com/appengine/docs/python/modules/#Python_Instance_scaling_and_class (注意:如果您在自动缩放模块上运行任务,它仍将限制为10分钟)
但整个管道不必限制在24小时。 “root”管道(运行的第一个任务)可以产生许多子管道,每个管道都可以进一步产生其他管道......每个管道都是必须在规定的时间内运行的任务(10分钟或24小时)......当它完成后,它会通知父母唤醒并完成...所以整个管道可以运行数天或数月或其他什么
我们的应用程序分为两个模块,一个用于处理Web请求的前端(默认,自动缩放),另一个用于运行所有任务的“后端”(基本缩放)