我正在研究一些大型数据库,每天生成的数据超过50gb。我正在通过SageMaker查询Athena,那里有5GB的可用空间。 我正在使用的数据格式是JSON 。
最近几天,我一直在查询特定日期的数据,但是在热图上可视化该数据尚不清楚。我想尝试查询整个月。
我的表有2列creation_date
(例如2018-01-30 20:15:01)和id
,是否可以在Presto中查询数据以获取我有的数据透视表天和小时的ID总数?
很不幸,如果我不优化查询,由于空间限制,我将无法打开结果。查询select *
将扫描超过TB的数据。