一个项目中允许的最大数据集数

时间:2012-11-02 21:37:58

标签: sql google-bigquery

我可以在一个BigQuery项目中创建多少个数据集?我没有在文件中提到这个限制。

我问这个是因为我想每天创建一个数据集。在每日数据集下,将使用每日数据创建相同数量的表。如,

dataset_20121101
   - table1
   - table2
dataset_20121102
   - table1
   - table2
...
dataset_201XXXXX
   - table1
   - table2

另外,如果我想对一系列数据集进行查询,我是否可以做一些比从每个数据集中明确选择更好的方法?例如,

select date, sum(price) from 
 dateset_20121101.table1, 
 dateset_20121102.table1,
 dateset_20121103.table1,
 dateset_20121104.table1
 group by date order by date

我猜不是,但只是试着确认一下。

感谢。

1 个答案:

答案 0 :(得分:5)

<强> 1。每个项目的数据集

每个项目可以创建的BigQuery数据集的数量没有硬性限制。但是,如果您创建了大量数据,那么在尝试以编程方式列出时,这可能会带来一些挑战。另外,拥有数百个数据集可能不容易在BigQuery UI中导航。另请注意,看起来bq command line tool目前没有为每个项目分页超过50个数据集(它只显示前50个,我们会考虑添加分页功能作为功能请求)。

<强> 2。查询一系列数据集

显式列出每个数据集。表组合是当前指定要在一系列数据集上运行的查询的唯一方法。但是,改进的引用多个表的语法是一个非常常见的开发人员请求,因此我们正在探索改进(例如可能通过模式而不是列表选择一系列表)。有关新功能的公告,请注册bigquery-announce列表。