我有一个物化路径驱动的公告板。它使用以下查询按顺序获取消息,
SELECT * FROM Board ORDER by root DESC, path ASC LIMIT 0,100
其中root
是线程根消息的id
,path
是物化路径。
但是,我使用索引进行此查询的努力都没有取得任何成功。
mysql> explain extended select path from Board order by root desc, path asc limit 100;
+-------+---------------+----------+---------+------+-------+----------+----------------------------+
| type | possible_keys | key | key_len | ref | rows | filtered | Extra
+-------+---------------+----------+---------+------+-------+----------+-----------------------------
| index | NULL | rootpath | 261 | NULL | 21998 | 100.00 | Using index; Using filesort
目前显示rows
列下表格中所有行的数量。我想知道,有没有办法减少这个数字或以任何其他方式优化查询?
CREATE TABLE `Board` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`path` varchar(255) NOT NULL DEFAULT '0',
`root` int(11) NOT NULL DEFAULT '0',
PRIMARY KEY (`id`),
KEY `root` (`root`),
KEY `path` (`path`),
KEY `rootpath` (`root`,`path`)
)
查询的主要问题是分页 - 我需要从上一页上最后一页旁边的消息开始第二页。这就是为什么我想要直接的方式 - 没有sublelects和东西。
当前的设置并不是很好,因为它从线程的中间开始第二页,但它至少是合乎逻辑的。
答案 0 :(得分:21)
this article很好地解释了你所面临的问题。而重要的是:
最典型的情况是,您希望按不同的两个列进行排序 方向:...订购价格ASC,日期DESC限制10如果你有 索引(价格,日期)按升序排列,你将无法 优化此查询 - 将需要外部排序(“filesort”)。 如果您能够在价格ASC上建立索引,则日期DESC也一样 查询可以按照有序排序顺序检索数据。
此外,文章还提到了问题的有效解决方法:将第二个“订单”条款颠倒过来:
然而,这可以通过类似的东西来解决 “reverse_date”列并将其用于排序。使用MySQL 5.0,你甚至 可以使用触发器将其更新为实际日期更新,以便它变得更少 丑陋。事实上,这就是为什么你会看到的原因 维基百科表结构中的“reverse_timestamp”字段。
同样来自官方MySQL documentation:
在某些情况下,MySQL无法使用索引来解析ORDER BY, 虽然它仍然使用索引来查找与WHERE匹配的行 条款。这些案件包括以下内容:
.......
混合ASC和DESC:
SELECT * FROM t1 ORDER BY key_part1 DESC,key_part2 ASC;
作为建议,您最好使用reversed_root
列Integer.MAX_VALUE - root
并且索引为(reversed_root,path)。然后您可以查询:
SELECT * FROM Board ORDER by reversed_root ASC,path ASC LIMIT 0,100
答案 1 :(得分:15)
您的原始查询
SELECT * FROM Board ORDER by root DESC, path ASC LIMIT 0,100;
创建一个表来保存root的负值,称为BoardDisplayOrder,在其中添加名为rootinv的新列。
首先是示例数据和原始查询:
mysql> drop database if exists YourCommonSense;
Query OK, 2 rows affected (0.06 sec)
mysql> create database YourCommonSense;
Query OK, 1 row affected (0.00 sec)
mysql> use YourCommonSense
Database changed
mysql> CREATE TABLE `Board` (
-> `id` int(11) NOT NULL AUTO_INCREMENT,
-> `path` varchar(255) NOT NULL DEFAULT '0',
-> `root` int(11) NOT NULL DEFAULT '0',
-> PRIMARY KEY (`id`),
-> KEY `root` (`root`),
-> KEY `path` (`path`),
-> KEY `rootpath` (`root`,`path`)
-> );
Query OK, 0 rows affected (0.11 sec)
mysql> INSERT INTO Board (path,root) VALUES
-> ('Rolando Edwards',30),
-> ('Daniel Edwards',30),
-> ('Pamela Edwards',30),
-> ('Dominiuqe Edwards',40),
-> ('Diamond Edwards',40),
-> ('Richard Washington',50),
-> ('George Washington',50),
-> ('Synora Washington',50);
Query OK, 8 rows affected (0.05 sec)
Records: 8 Duplicates: 0 Warnings: 0
mysql> SELECT * FROM Board;
+----+--------------------+------+
| id | path | root |
+----+--------------------+------+
| 2 | Daniel Edwards | 30 |
| 3 | Pamela Edwards | 30 |
| 1 | Rolando Edwards | 30 |
| 5 | Diamond Edwards | 40 |
| 4 | Dominiuqe Edwards | 40 |
| 7 | George Washington | 50 |
| 6 | Richard Washington | 50 |
| 8 | Synora Washington | 50 |
+----+--------------------+------+
8 rows in set (0.00 sec)
mysql> SELECT * FROM Board ORDER by root DESC, path ASC LIMIT 0,100;
+----+--------------------+------+
| id | path | root |
+----+--------------------+------+
| 7 | George Washington | 50 |
| 6 | Richard Washington | 50 |
| 8 | Synora Washington | 50 |
| 5 | Diamond Edwards | 40 |
| 4 | Dominiuqe Edwards | 40 |
| 2 | Daniel Edwards | 30 |
| 3 | Pamela Edwards | 30 |
| 1 | Rolando Edwards | 30 |
+----+--------------------+------+
8 rows in set (0.00 sec)
mysql> EXPLAIN SELECT * FROM Board ORDER by root DESC, path ASC LIMIT 0,100;
+----+-------------+-------+-------+---------------+----------+---------+------+------+-----------------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+-------+---------------+----------+---------+------+------+-----------------------------+
| 1 | SIMPLE | Board | index | NULL | rootpath | 261 | NULL | 8 | Using index; Using filesort |
+----+-------------+-------+-------+---------------+----------+---------+------+------+-----------------------------+
1 row in set (0.00 sec)
mysql>
接下来,使用rootinv和涉及rootinv的索引创建表BoardDisplayOrder:
mysql> CREATE TABLE BoardDisplayOrder LIKE Board;
Query OK, 0 rows affected (0.09 sec)
mysql> ALTER TABLE BoardDisplayOrder DROP INDEX root;
Query OK, 0 rows affected (0.11 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> ALTER TABLE BoardDisplayOrder DROP INDEX path;
Query OK, 0 rows affected (0.09 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> ALTER TABLE BoardDisplayOrder DROP INDEX rootpath;
Query OK, 0 rows affected (0.08 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> ALTER TABLE BoardDisplayOrder ADD COLUMN rootinv int(11) NOT NULL;
Query OK, 0 rows affected (0.17 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> ALTER TABLE BoardDisplayOrder ADD INDEX rootpathid (rootinv,path,id,root);
Query OK, 0 rows affected (0.11 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> SHOW CREATE TABLE BoardDisplayOrder \G
*************************** 1. row ***************************
Table: BoardDisplayOrder
Create Table: CREATE TABLE `boarddisplayorder` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`path` varchar(255) NOT NULL DEFAULT '0',
`root` int(11) NOT NULL DEFAULT '0',
`rootinv` int(11) NOT NULL,
PRIMARY KEY (`id`),
KEY `rootpathid` (`rootinv`,`path`,`id`,`root`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1
1 row in set (0.00 sec)
mysql>
然后,填充BoardDisplayOrder:
mysql> INSERT INTO BoardDisplayOrder (id,path,root,rootinv)
-> SELECT id,path,root,-root FROM Board;
Query OK, 8 rows affected (0.06 sec)
Records: 8 Duplicates: 0 Warnings: 0
mysql> SELECT * FROM BoardDisplayOrder;
+----+--------------------+------+---------+
| id | path | root | rootinv |
+----+--------------------+------+---------+
| 7 | George Washington | 50 | -50 |
| 6 | Richard Washington | 50 | -50 |
| 8 | Synora Washington | 50 | -50 |
| 5 | Diamond Edwards | 40 | -40 |
| 4 | Dominiuqe Edwards | 40 | -40 |
| 2 | Daniel Edwards | 30 | -30 |
| 3 | Pamela Edwards | 30 | -30 |
| 1 | Rolando Edwards | 30 | -30 |
+----+--------------------+------+---------+
8 rows in set (0.00 sec)
mysql>
现在,对BoardDisplayOrder运行查询,但在rootinv上没有DESC:
mysql> SELECT id,path,root FROM BoardDisplayOrder ORDER by rootinv, path LIMIT 0,100;
+----+--------------------+------+
| id | path | root |
+----+--------------------+------+
| 7 | George Washington | 50 |
| 6 | Richard Washington | 50 |
| 8 | Synora Washington | 50 |
| 5 | Diamond Edwards | 40 |
| 4 | Dominiuqe Edwards | 40 |
| 2 | Daniel Edwards | 30 |
| 3 | Pamela Edwards | 30 |
| 1 | Rolando Edwards | 30 |
+----+--------------------+------+
8 rows in set (0.00 sec)
mysql> EXPLAIN SELECT id,path,root FROM BoardDisplayOrder ORDER by rootinv, path LIMIT 0,100;
+----+-------------+-------------------+-------+---------------+------------+---------+------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------------------+-------+---------------+------------+---------+------+------+-------------+
| 1 | SIMPLE | BoardDisplayOrder | index | NULL | rootpathid | 269 | NULL | 8 | Using index |
+----+-------------+-------------------+-------+---------------+------------+---------+------+------+-------------+
1 row in set (0.00 sec)
mysql>
试一试!!!
这很容易做到,因为root是INT。
如果root是VARCHAR,则rootinv必须是翻转字符。换句话说,
A
- > Z
B
- > Y
M
- > N
N
- > M
Y
- > B
Z
- > A
这主要适用于执行DESC所需的任何字段。问题源于MySQL没有在索引内部对键作为ASC或DESC进行排序。索引中的所有内容都是升序的。这就是为什么当您在SHOW GLOBAL STATUS LIKE 'handler%';
中看到处理程序统计信息时,您会看到以下内容:
等等。
index_col_name规范可以以ASC或DESC结尾。这些 允许使用关键字以用于指定升序的未来扩展 或降序索引值存储。目前,他们被解析但是 忽略;索引值始终按升序存储。
试一试!!!
@ frail对我的回答的评论
ALTER TABLE BoardDisplayOrder ADD INDEX rootpathid(rootinv,path,id,root)对我来说似乎没必要,ALTER TABLE BoardDisplayOrder ADD INDEX rootpathid(rootinv,path)应该足够了
我的解决方案ALTER TABLE BoardDisplayOrder ADD INDEX rootpathid (rootinv,path,id,root)
的原因是提供覆盖索引。此实例中的覆盖索引将:
想想原始查询,
SELECT * FROM Board ORDER by root DESC, path ASC LIMIT 0,100;
这需要检索三列path,id和root。因此,他们需要在索引中。当然,指数增加的规模将是权衡。如果Board表非常大,如果可以更快地进行检索,有些人不会担心空间。如果根路径索引只是(rootinv,path),则每个索引范围扫描都会伴随对表中的其余列的ref查找。这就是我选择ALTER TABLE BoardDisplayOrder ADD INDEX rootpathid (rootinv,path,id,root);
答案 2 :(得分:5)
在这种情况下,数据本身无法以您需要的方式进行检索,可能适合创建一个包含您需要的信息的附加列 - 这样您就可以按照所需的顺序检索。
在这种情况下尤其适合,因为看起来数据本身一旦保存就不会更新。邮件发布后,它们不会更新(或者从我最初的阅读中看起来如此)。
我建议的步骤,假设你采取这条道路,将是:
root_path
。update Board set root_path = root + path
。 (您可能必须根据现有列的数据类型进行调整。)然后,您应该能够在该新列上设置索引并针对该列编写选择 - 按照您的意愿命中索引。
我相信即使其中一个键必须以相反的顺序排序,这也会有效。
CREATE TABLE foo
(
id serial NOT NULL,
int_field integer DEFAULT 0,
varchar_field character varying(255),
composite_field character varying(255),
CONSTRAINT foo_pkey PRIMARY KEY (id )
);
CREATE INDEX composite_field_idx ON foo (composite_field);
INSERT INTO foo (int_field, varchar_field, composite_field) VALUES
(1,'t','t1'),
(2,'z','z2'),
(2,'w','w2'),
(4,'u','u4'),
(5,'u','u5'),
(5,'x','x5'),
(7,'v','v7');
explain select * from foo order by composite_field desc;
运行上面的代码,explain语句应显示正在引用的关键字composite_field_idx。
查询的结果是:
select * from foo order by composite_field desc;
id | int_field | varchar_field | composite_field
----+-----------+---------------+-----------------
2 | 2 | z | z2
6 | 5 | x | x5
3 | 2 | w | w2
7 | 7 | v | v7
5 | 5 | u | u5
4 | 4 | u | u4
1 | 1 | t | t1