加载作业失败,错误字段{field-name}已存在于架构中

时间:2015-01-11 21:36:38

标签: google-app-engine google-bigquery google-cloud-datastore

我在尝试从数据存储备份文件(在云存储中)创建表时遇到问题

问题出现在特定的实体类型上。我的应用引擎数据存储区中有大约20种实体类型。如果我为所有实体类型创建数据库备份,我没有问题导入bigquery几乎所有相应的{EntityName} .backup_info文件,使用Bigquery UI(创建表功能)或通过这个漂亮的pyton包使用API​​ { {3}}

问题出现在特定实体类型的备份上。当我尝试通过UI或API导入它时,我收到以下作业加载错误

字段{field_name}已存在于架构中

我很难尝试解决这个问题。我很乐意在云端存储中提供.backup_info文件的网址,并向google上的某人授予权限以解决此问题

进一步调查:

我在数据存储区统计信息(按属性和复合索引划分)中看到属性Credit(产生错误的属性)在架构中出现两次

Credit  Key 35.23 KB    173.94 KB   0 
Credit  NULL    501.34 KB   6.77 MB 2

该模型曾经有过一个关键属性,但是它被移除了,所以可能会有一些实体拥有该属性。另一个属性Credit NULL不知道是什么。

问题的根源似乎是我需要解决这个问题,但目前尚不清楚如何解决问题。我可以重新保存这种实体(大约50K)(使用地图减少作业的地图阶段)。这可能是一个解决方案吗?我没有看到改变“架构”的方法,它似乎是自动生成的。

2 个答案:

答案 0 :(得分:2)

这是数据存储架构转换中已知的BigQuery问题。我们正在努力解决问题。不幸的是,我不知道解决方法,除了移动或重命名导致冲突的实体。

答案 1 :(得分:0)

通过运行地图作业重新启动此类所有实体并为有问题的属性设置值来解决问题,my_property_name =无

之后,bigquery的导入工作工作了!