重新保存数百万个数据存储实体的最佳方法是什么?

时间:2014-07-17 07:00:36

标签: google-cloud-datastore

重新持有数据存储类型的最佳方法是什么,数据存储类型中有4000万个实体。 [我必须重新持久化的原因是在其中一个现有属性上创建索引]?

请尽可能提供一些示例代码?

顺便说一句,我有一种粗暴的做法,就像使用远程API并实现Executor Service来运行多个并行线程一样,每个线程重新持有一批100个实体。

我认为应该有更好的GAE方法吗?

感谢您的建议?

1 个答案:

答案 0 :(得分:1)

看看MapReduce for App Engine。我认为它可能是适合您的解决方案。

  

MapReduce是一种用于以并行和分布式方式处理大量数据的编程模型。它对于无法在单个请求范围内处理的大型长期运行作业非常有用。