GAE上传到数据库 - 或 - 如何在GAE中创建大字典？

Question

我有GAE申请。一个新的请求是拥有一个庞大的数据库来存储许多项目以实现某些功能。

数据库需要每周左右填充一次 - 填充它是通过查询许多外部链接来完成的，这些链接总共需要大约1-2个小时。因此，通过GAE Cron进行此操作现在已经不可能了。

我想的另一个选择是在外部服务器中创建它然后将其上传到GAE DB。是否可以直接将外部创建的数据上传到GAE DB？问题是因为其中将有近10个M项，因此由于30秒的时间限制，单独向数据库添加项目将不起作用。

由于

ķ

Answer 1

可以将bulk loader用于您的任务。 或者只是创建自己的方法，与外部cron脚本交谈，以填充新数据

Answer 2

您可以使用task queues轮询外部网站并加载数据。