Google BigQuery请求过大

时间:2015-01-07 01:33:40

标签: python pandas google-bigquery google-api-python-client

已经有一段时间了,因为我有机会研究pandas GBQ模块,但我注意到我们的一个回归测试现在失败了。

有问题的测试是:

https://github.com/pydata/pandas/blob/master/pandas/io/tests/test_gbq.py#L254-L267

简而言之,测试尝试创建一个包含5列(类型为Boolean,Float,String,Integer,Timestamp)和1,000,001行的表。以10,000行的块的形式插入这些行失败,响应为“Request Too Large”。

我觉得这可能会对Getting "Query too large" in BigQuery有类似的答案 - 但是看看此测试是如何在以前工作的,我想知道是否有需要解决的后端问题。当我不看时,API也可能被改变了!

TLDR版本:我们的插入太大了,是否有我们可以参考的文件限制?

1 个答案:

答案 0 :(得分:3)

记录的限制如下:

https://cloud.google.com/bigquery/streaming-data-into-bigquery#quota

TL; DR回答:虽然此时BQ没有严格执行每行500行/插入的最大行数,但API堆栈中的其他地方还有一些与整体请求大小相关的限制,这些限制阻止了调用从成功。