BigQuery最大行大小

时间:2014-10-21 11:36:43

标签: google-bigquery

最近,我们开始收到有关" Row的错误,大于允许的最大尺寸"

尽管文档声明JSON限制为2MB,但我们也成功加载了4MB(和更大)的记录(请参阅作业job_Xr8vR3Fyp6rlH4zYaZFbZSyQsyI以获取4.6MB记录的示例)。

允许的最大行数是否有任何变化? 错误的工作是job_qt_sCwokO2PWKNZsGNx6mK3cCWs。不幸的是,产生的错误消息并没有指定哪些记录是有问题的记录。

1 个答案:

答案 0 :(得分:2)

最大行数没有变化(我仔细检查过并通过更改列表返回,并且没有看到任何可能影响此行的内容)。最大值是从编码行计算的,而不是原始行,这就是为什么有时你可以获得比指定最大值更大的行进入系统的原因。

从日志中查看失败的作业,看起来错误在第1行。在作业错误中是否未返回该信息?或者那条线不是违规的?

看起来确实有一个重复的字段,其中有很多条目看起来像" Person..durable"。

如果您认为错误地收到了此消息或我们可以采取哪些措施来改善错误消息,请告诉我。