将数据存储备份数据加载到BigQuery writeDisposition中

时间:2013-02-11 16:26:32

标签: google-bigquery

我们正在使用大查询v2 api将数据存储备份加载到大查询中。我们正在指定此JSON配置:

{'configuration': {
    'load': {
        'sourceFormat'     : 'DATASTORE_BACKUP',
        'writeDisposition' : 'WRITE_TRUNCATE',
        'sourceUris'       : sourceUris,
        'destinationTable' : {
            'projectId': settings.PROJECT_ID,
            'datasetId': datasetId,
            'tableId'  : entityKind
            }
        }
    }
}

我们已经将此实体加载到BigQuery中一次,并且现在期望进一步加载以用新数据替换现有表。我们没有看到这个但插入作业请求中的错误:

u'status': {
u'state': u'DONE',
u'errors': [
  {
    u'reason': u'invalid',
    u'message': u'Cannot import a datastore backup to a table that already has a schema.'
  }
],
u'errorResult': {
  u'reason': u'invalid',
  u'message': u'Cannot import a datastore backup to a table that already has a schema.'
}

},

是否期望writeDisposition =='WRITE_TRUNCATE'不适用于DATASTORE_BACKUP?

谢谢,

布雷登

1 个答案:

答案 0 :(得分:0)

是的,目前,使用数据存储管理备份作为源文件的摄取作业目前仅支持创建新的BigQuery表(或替换现有BigQuery表的全部内容) - 目前无法附加到现有表。

请注意,此功能处于早期实验阶段,我们非常感谢您在计划此功能的新迭代时的反馈。