如何在没有ProtoBuf格式错误的情况下将数据加载到BigQuery中?

时间:2016-10-10 17:58:21

标签: google-bigquery google-cloud-datastore

loading data into BigQuery中,我收到以下错误(从BigQuery Web控制台中的作业历史记录中复制)。

Errors:
query: Failed to load FileDescriptorProto for '_GEN_DREMEL_ONESTORE_METADATA_SCHEMA_': (error code: invalidQuery)
 Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation.
 Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation. 
 [... repeated a total of exactly 1000 times...]
 Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation. 

 (error code: invalidQuery)

数据是数据存储管理备份。 (该团队的人员将我送到BigQuery寻求帮助。)

使用六种随机选择的种类之一发生错误;其他人加载成功。此外,加载另一个Kind会给出错误“太多字段:10693(错误代码:无效)”。

失败的Kind和成功的Kind都有相似大小的~15千兆字节的数据。

我们可以做些什么来加载这些数据?

1 个答案:

答案 0 :(得分:3)

这是由BigQuery的limitation引起的:每个表最多10000列。因此,在这种情况下,加载数据存储区备份的实用程序根本不起作用。