我的表'my_logs'有大约20,000,000条记录,我想知道几天内每个日期有多少日志。
我希望得到像
这样的结果
+------------+---------+
| date | count |
+------------+---------+
| 2016-07-01 | 1623 |
| 2016-07-02 | 1280 |
| 2016-07-03 | 2032 |
+------------+---------+
下面的这个查询只需要几毫秒才能完成,这很好
SELECT DATE_FORMAT(created_at, '%Y-%m-%d') as date,
COUNT(*) as count
FROM my_logs
WHERE created_at BETWEEN '2016-07-01' AND '2016-07-04'
GROUP BY DATE_FORMAT(created_at, '%Y-%m-%d')
查询说明:
+------------+---------+-------+-----------------------------+
|select_type | table | type | possible_keys |
+------------+---------+-------+-----------------------------+
| SIMPLE | my_logs| index | index_my_logs_on_created_at |
+------------+---------+-------+-----------------------------+
+-----------------------------+---------+----------+
| key | key_len | rows |
+-----------------------------+---------+----------+
| index_my_logs_on_created_at | 10 | 23458462 |
+-----------------------------+---------+----------+
+-----------------------------------------------------------+
| Extra |
+-----------------------------------------------------------+
| Using where; Using index; Using temporary; Using filesort |
+-----------------------------------------------------------+
但是,我需要转换每个记录的时区以适应我所在国家/地区的时间,我需要按“日期”信息进行分组,因此我需要转换列本身。
两个
SELECT COUNT(*)
FROM my_logs
WHERE DATE_ADD(created_at, INTERVAL 8 HOUR) BETWEEN '2016-07-01' AND '2016-07-04'
GROUP BY DATE_FORMAT(DATE_ADD(created_at, INTERVAL 8 HOUR), '%Y-%m-%d')
和
SELECT COUNT(*)
FROM my_logs
WHERE CONVERT_TZ(created_at, "+00:00", "+08:00") BETWEEN '2016-07-01' AND '2016-07-04'
GROUP BY DATE_FORMAT(CONVERT_TZ(created_at, "+00:00", "+08:00"),
'%Y-%间 - %d')
带我大约12秒完成查询,这是无法忍受的缓慢!!
(说明与顶部的查询相同)
我认为这是常见的问题,但我找不到一个好的方法来处理它,有没有人有更有效的方法来做到这一点?谢谢!
答案 0 :(得分:2)
您使用的是哪种数据类型TIMESTAMP
与DATETIME
? (但是,我会忽略它。)
不要"隐藏"任何函数(created_at
)内的索引列(CONVERT_TZ()
)。这使得WHERE
子句不能使用索引,而是必须扫描表。这个修复很简单:
WHERE created_at >= '2016-07-01' - INTERVAL 8 HOUR
AND created_at < '2016-07-04' - INTERVAL 8 HOUR
(或使用CONVERT_TZ
)。请注意,我还修复了包含4日午夜的错误。注意:即使+ INTERVAL...
实际上也是一种功能。
SELECT
和GROUP BY
中的表达式对性能的影响要小得多。