App Engine多个名称空间

时间:2012-02-15 15:37:10

标签: google-app-engine google-cloud-datastore

最近我们的应用程序中发生了一些数据结构更改,我们决定使用命名空间来分隔不同版本的数据,并使用mapreduce任务将旧实体转换为新格式。

现在一切都很好,但我们不想总是隔离我们拥有的整个数据集。我们数据的最大部分存储在一种非常简单且不需要经常更改的类型中。所以我们决定使用每种命名空间。

类似的东西:

class Author(ndb.model.Model):
    ns = '2'

class Book(ndb.model.Model):
    ns = '1'

因此,在迁移到版本2时,我们不需要转换所有数据(并将所有'Book'类型复制到另一个名称空间),只需要'Author'类型的实体。然后,我们不是定义appengine_config.namespace_manager_default_namespace_for_request,而只是查询的'namespace'关键字参数:

Author.query(namespace=Author.ns).get()

问题:如何使用这些不同的命名空间存储(即put())不同种类?类似的东西:

# Not an API
Author().put(namespace=Author.ns)

当然,上述方法无效。 (是的,我可以向数据存储区询问该命名空间中的可用密钥,然后使用该密钥存储实例,但这是我想要避免的额外API调用。)

3 个答案:

答案 0 :(得分:5)

为了解决这样的问题,我写了一个装饰器如下:

MY_NS = 'abc'

def in_my_namespace(fn):
    """Decorator: Run the given function in the MY_NS namespace"""
    from google.appengine.api import namespace_manager

    @functools.wraps(fn)
    def wrapper(*args, **kwargs):
        orig_ns = namespace_manager.get_namespace()
        namespace_manager.set_namespace(MY_NS)

        try:
            res = fn(*args, **kwargs)
        finally: # always drop out of the NS on the way up.
            namespace_manager.set_namespace(orig_ns)

        return res

    return wrapper

所以我可以简单地编写一个应该在一个单独的命名空间中出现的函数:

@in_my_namespace
def foo():
   Author().put() # put into `my` namespace

当然,将此应用于系统以获得您想要的结果有点超出了这个范围,但我认为它可能会有所帮助。

编辑:使用with上下文

以下是使用with上下文完成上述操作的方法:

class namespace_of(object):
    def __init__(self, namespace):
        self.ns = namespace

    def __enter__(self):
        self.orig_ns = namespace_manager.get_namespace()
        namespace_manager.set_namespace(self.ns)

    def __exit__(self, type, value, traceback):
        namespace_manager.set_namespace(self.orig_ns)

然后在其他地方:

with namespace_of("Hello World"):
    Author().put() # put into the `Hello World` namespace

答案 1 :(得分:3)

Model实例将使用您使用namespace_manager [1]设置的命名空间,如下所示:python/google/appengine/ext/db/init.py

你可以做的是创建一个Model的子类,它需要定义一个类级别的'ns'属性。然后,此子类重写put()并在调用原始put之前设置命名空间,然后重置命名空间。像这样:

'''
class MyModel(db.Model):

    ns = None

    def put(*args, **kwargs):
        if self.ns == None:
            raise ValueError('"ns" is not defined for this class.')
        original_namespace = namespace_manager.get_namespace()
        try:
            super(MyModelClass, self).put(*args, **kwargs)
        finally:
            namespace_manager.set_namespace(original_namespace)
'''

[1] http://code.google.com/appengine/docs/python/multitenancy/multitenancy.html

答案 2 :(得分:0)

我认为不可能避免额外的API调用。命名空间被编码到实体的Key中,因此为了更改存储实体的命名空间,您需要创建一个新实体(具有带新命名空间的Key)并将旧实体的数据复制到其中。