简单的花了太长时间

时间:2017-06-15 22:16:58

标签: performance google-bigquery

查询简单如下:

来自[tablename]的SELECT *,其中some_timestamp_type> TIMESTAMP(“2017-05-01”)[我们的跟踪器-169919:bquijob_50035ae4_15cada135bb]

表有~11M行,需要30多分钟。

我意识到特定的查询会做一些非平凡的输出,但即使是微小的输出查询也需要超过30分钟:

示例:我们的跟踪器-169919:bquijob_50035ae4_15cada135bb

似乎已关闭。

1 个答案:

答案 0 :(得分:2)

对Google云端硬盘上的CSV文件进行查询通常比将数据加载到BigQuery然后查询它要慢得多。另一个可能比CSV更好但比BigQuery的托管存储更快的选项是在Google云端硬盘上查询Avro文件。

您可以尝试将数据加载到BigQuery中,然后再次尝试查询吗?