每秒超出tabledata.list字节的配额

Question

我在BigQuery数据集中的表上触发了一组查询。

有3个select *查询，如下所示：

"Select * from table1"    //1.3M records and 2.5GB data
"Select * from table2"      //0.3M records and 15 GB data
"Select * from table3"     //2M    records and 3GB data

我们正在使用Spark连接器查询以上表格。但是，间歇性地我们看到一个错误：

  

403禁止”
  “ domain”：“ usageLimits”，
  message：“” message“：”超出了速率限制：您的项目：每个项目每秒的tabledata.list字节数超出配额。

这里的假设是tabledata列表调用失败，因为它每秒返回的速度超过60 MB，这似乎是https://cloud.google.com/bigquery/troubleshooting-errors的默认配额

Answer 1

Tabledata.list并未真正针对Spark等高吞吐量用例进行优化。您可能想查看其他选项以从BigQuery中读取内容-特别是，此用例是BigQuery Storage API设计的用途，其中包括native Spark connector。