Google BigQuery有效负载大小限制为10485760字节

Question

我们在尝试将数据流传输到bigquery表时遇到错误，它说：有效负载大小限制为10485760字节，有人对此有任何想法吗？根据我们用来将数据从sql服务器移动到bigquery表的第三方集成供应商的说法，他们认为bigquery是一个问题吗？

谢谢。 最好的问候，

Answer 1

实际上，每个请求的流限制为10MB。

根据https://cloud.google.com/bigquery/quotas，行大小为1MB

您需要做的是并行化流作业。 BigQuery每秒最多支持1M /行。

Answer 2

BigQuery有一些最大限制，并且有一些配额策略，如您所见here。

流媒体的局限性是：

• 如果在插入行时未填充insertId字段：

  • 每秒最大行数：1,000,000
    
  • 每秒最大字节数：1 GB

• 如果在插入行时填充insertId字段：

  • 每秒最大行：100,000
  • 每秒最大字节数：100 MB

• 以下附加的流配额适用于您是否填充insertId字段：

  • 最大行大小：1 MB
  • HTTP请求大小限制：10 MB
  • 每个请求的最大行数：每个请求10,000行
  • insertId字段长度：128

我希望对您有帮助