延迟任务是否在谷歌应用引擎中并行化？

Question

我有一个CRON作业，它每天导入一个从S3存储桶到GS存储桶的20个新文件列表。

这是我的代码：

import webapp2
import yaml
from google.appengine.ext import deferred


class CronTask(webapp2.RequestHandler):

    def get(self):
        with open('/my/config/file') as file:
            config_dict = yaml.load(file_config_file)
        for file_to_load in config_dict:
            deferred.defer(my_import_function, file_to_load)


app = webapp2.WSGIApplication([
    ('/', CronTask)
], debug=True)

我的问题：这个加载作业是使用deferred.defer函数由队列进程自动并行化的，还是我自己应该对其进行并行化？

如果我们处于第二种情况，我可以使用哪些技术来有效地并行化这个加载过程？

Answer 1

这取决于您的模块scaling settings和队列processing settings，但默认情况下，任务会以某种并行性执行。