已经有一段时间了,因为我有机会研究pandas GBQ模块,但我注意到我们的一个回归测试现在失败了。
有问题的测试是:
https://github.com/pydata/pandas/blob/master/pandas/io/tests/test_gbq.py#L254-L267
简而言之,测试尝试创建一个包含5列(类型为Boolean,Float,String,Integer,Timestamp)和1,000,001行的表。以10,000行的块的形式插入这些行失败,响应为“Request Too Large”。
我觉得这可能会对Getting "Query too large" in BigQuery有类似的答案 - 但是看看此测试是如何在以前工作的,我想知道是否有需要解决的后端问题。当我不看时,API也可能被改变了!
TLDR版本:我们的插入太大了,是否有我们可以参考的文件限制?
答案 0 :(得分:3)
记录的限制如下:
https://cloud.google.com/bigquery/streaming-data-into-bigquery#quota
TL; DR回答:虽然此时BQ没有严格执行每行500行/插入的最大行数,但API堆栈中的其他地方还有一些与整体请求大小相关的限制,这些限制阻止了调用从成功。