Question

我打算使用应用引擎基于CSV导出/导入大数据。我的想法很简单。

CSV的第一列将是实体的关键。
如果它不为空，则该行表示现有实体，应覆盖旧实体。
否则，该行是新实体，应该创建新实体。

我可以通过添加键属性来导出实体的密钥。

class FrontExporter(bulkloader.Exporter):
    def __init__(self):
        bulkloader.Exporter.__init__(self, 'Front', [
        ('__key__', str, None),
        ('name', str, None),
        ])

但是当我尝试上传CSV时，它失败了，因为bulkloader.Loader.generate_key（）仅用于“key_name”而不是“key”本身。这意味着如果我想修改并重新上载它们，CSV中的所有导出实体都应该具有唯一的'key_name'。

class FrontLoader(bulkloader.Loader):
    def __init__(self):
        bulkloader.Loader.__init__(self, 'Front', [
        ('_UNUSED', lambda x: None),
        ('name', lambda x: x.decode('utf-8')),
        ])
    def generate_key(self,i,values):
        # first column is key
        keystr = values[0]
        if len(keystr)==0:
            return None
        return keystr

我还尝试直接加载密钥而不使用generate_key（），但都失败了。

class FrontLoader(bulkloader.Loader):
    def __init__(self):
        bulkloader.Loader.__init__(self, 'Front', [
        ('Key', db.Key), # not working. just create new one. 
        ('__key__', db.Key), # same...

那么，我怎样才能覆盖没有'key_name'的现有实体？如果我要给所有实体赋予独特的名字，那将是可怕的......

从第一个答案开始，我可以解决这个问题。：）

def create_entity(self, values, key_name=None, parent=None):
  # if key_name is None:
  #     print 'key_name is None'
  # else:
  #     print 'key_name=<',key_name,'> : length=',len(key_name)
  Validate(values, (list, tuple))
  assert len(values) == len(self._Loader__properties), (
      'Expected %d columns, found %d.' %
      (len(self._Loader__properties), len(values)))

  model_class = GetImplementationClass(self.kind)

  properties = {
      'key_name': key_name,
      'parent': parent,
      }
  for (name, converter), val in zip(self._Loader__properties, values):
    if converter is bool and val.lower() in ('0', 'false', 'no'):
      val = False
    properties[name] = converter(val)

  if key_name is None:
      entity = model_class(**properties)
      #print 'create new one'
  else:
      entity = model_class.get(key_name)
      for key, value in properties.items():
          setattr(entity, key, value)
      #print 'overwrite old one'
  entities = self.handle_entity(entity)

  if entities:
    if not isinstance(entities, (list, tuple)):
      entities = [entities]

    for entity in entities:
      if not isinstance(entity, db.Model):
        raise TypeError('Expected a db.Model, received %s (a %s).' %
                        (entity, entity.__class__))

  return entities

def generate_key(self,i,values):
    # first column is key
    if values[0] is None or values[0] in ('',' ','-','.'):
        return None
    return values[0]

Answer 1

您最好的选择可能是覆盖create_entity。您需要复制那里的大部分现有代码，但修改构造函数以提供key参数而不是key_name参数。

通过bulkloader.Loader覆盖现有实体

1 个答案: