Google App Engine数据存储区中的批量更新

时间:2011-11-19 20:10:24

标签: google-app-engine google-cloud-datastore

在Google App Engine数据存储区中对实体执行批量更新的正确方法是什么?可以在不必检索实体的情况下完成吗?

例如,在SQL中,GAE等同于这样的东西:

UPDATE dbo.authors
SET    city = replace(city, 'Salt', 'Olympic')
WHERE  city LIKE 'Salt%';

3 个答案:

答案 0 :(得分:9)

没有直接翻译。数据存储区确实没有更新的概念;您所能做的就是用同一地址(密钥)的新实体覆盖旧实体。要更改实体,您必须从数据存储区中获取它,在本地修改它,然后将其保存回来。

也没有LIKE运算符的等价物。虽然通过一些技巧可以进行通配符后缀匹配,但如果你想匹配'%Salt%',你必须将每个实体读入内存并在本地进行字符串比较。

所以它不会像SQL一样干净或高效。这是对大多数分布式对象存储的权衡,数据存储也不例外。

尽管如此,the mapper library可用于促进此类批量更新。按照示例对process函数使用类似的内容:

def process(entity):
  if entity.city.startswith('Salt'):
    entity.city = entity.city.replace('Salt', 'Olympic')
    yield op.db.Put(entity)

除了mapper之外还有其他选择。最重要的优化提示是批量更新;不要单独保存每个更新的实体。如果使用mapper和yield puts,则会自动处理。

答案 1 :(得分:5)

不,如果不检索实体就无法完成。

没有“1000最大记录限制”这样的东西,但任何单个请求当然都有超时 - 如果你有大量的实体要修改,一个简单的迭代可能会违反这一点。您可以通过将其拆分为多个操作并使用query cursor跟踪,或者使用MapReduce framework来管理此操作。

答案 2 :(得分:2)

您可以使用查询类http://code.google.com/appengine/docs/python/datastore/queryclass.html

 query = authors.all().filter('city >', 'Salt').fetch()
 for record in query:
   record.city = record.city.replace('Salt','Olympic')