在bq命令行工具中一次查询大量表

时间:2012-11-08 23:07:06

标签: google-bigquery

使用bq命令行工具时,我可以查询的表数是否有上限?

我的时间序列数据已按日期“分片”(使用表格)。我在152天内运行以下查询:

SELECT LEFT(FORMAT_UTC_USEC(UTC_USEC_TO_DAY(timestamp*1000000)),10) as day, loc, count(*) FROM 
[mydata.20120601],
[mydata.20120602],
[usage_production.20120603],
[mydatan.20120604],
[mydata.20120605],
[mydata.20120606],
:
:
[mydata.20121031]
WHERE REGEXP_MATCH(actiondata, "up=[0-9]")
GROUP by day,loc
ORDER by day;

此查询返回从BigQuery Web界面执行时所期望的数据,但是当我从bq命令工具运行时,我只获得前22天的值。

我正在使用以下命令行:

bq query --format=csv 'query'

在Ubuntu上使用bq

1 个答案:

答案 0 :(得分:2)

除了查询必须fit within 10kb这一事实之外,您可以在BigQuery查询中引用的表的数量没有硬性限制。

bq客户端目前有一个来自查询的default limit of displaying 100结果记录。但是,您可以使用--max_rows标志来更改此值:

bq query --format=csv --max_rows 5000 'SELECT title FROM publicdata:samples.wikipedia LIMIT 5000'