我正在对表格运行查询,该表格的数据类似于以下格式:
store_name,region,state,town, product_name,product_category,product_sub, volume, month
表格大小为12GB。如果我运行类似于此
的查询select sum(volume), store_name,region,product_name,product_category from mybigquery where region in ("Region A","Region B", "Region C") and product_category in ("Product Category 1","Product Category B") group by region,product_category
查询扫描整个表的大约70%,并且当我向where子句添加列时,总扫描数据增加,从而增加了成本。获得结果所需的时间约为30秒
为了节省我的成本,我将数据划分并创建了逐月表(大小约为1 GB)。现在,按月查询的每个查询扫描的数据量是全年表上数据扫描的1/10。但令人惊讶的是,所花费的时间翻了两番,达到了2分钟。
这种奇怪行为的原因是什么? Google Big Query是否会对用户进行大数据扫描,从而获得更好的收入?