Question

我正在处理一个包含大约400万条消息条目的mysql表，并且我试图根据时间戳选择最新的50条消息。

另一个要求是返回的消息不以固定前缀开头。

问题是单个查询占用大约25％的cpu并且需要大约1.5秒。该查询经常由多个客户端完成，并导致我们的8核心数据库服务器出现性能问题。

SELECT * FROM largeTable 
WHERE msg NOT LIKE 'myPrefix%' 
ORDER BY timestamp DESC LIMIT 0, 50;

我尝试使用内置的mysql分析器进行分析，这里是查询的结果：

+----------------------+----------+
| Status               | Duration |
+----------------------+----------+
| starting             | 0.000044 |
| checking permissions | 0.000004 |
| Opening tables       | 0.000010 |
| init                 | 0.000019 |
| System lock          | 0.000005 |
| optimizing           | 0.000005 |
| statistics           | 0.000007 |
| preparing            | 0.000007 |
| Sorting result       | 0.000002 |
| executing            | 0.000002 |
| Sending data         | 0.000006 |
| Creating sort index  | 0.788023 |
| end                  | 0.000009 |
| query end            | 0.000003 |
| closing tables       | 0.000009 |
| freeing items        | 0.000012 |
| cleaning up          | 0.000010 |
+----------------------+----------+

我首先想到的问题可能是它检查了所有条目的前缀，但是在分析之后。

| Creating sort index  | 0.788023 |

似乎是罪魁祸首。那么ORDER BY条款？我怎样才能加快速度呢？我可以构建一些类型的索引来解决这个问题吗？大约每隔几秒就会添加一条新消息，而查询会更频繁地发生。

感谢您的帮助！

编辑：感谢您的评论，这里有所要求的信息。

数据库不是由我的代码创建和填充的，而是由一些外部python服务填充的。我还没有添加任何索引。

解释输出：

id:1    
select_type:SIMPLE  
table:largeTable 
type:ALL    
possible_keys:NULL  
key: NULL   
key_len:NULL    
ref: NULL   
rows: 3492633   
Extra: Using where; Using filesort

表格结构：

 CREATE TABLE `largeTable` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `timestamp` int(10) unsigned NOT NULL,
  `client_id` int(11) unsigned NOT NULL,
  `name` varchar(32) NOT NULL,
  `msg` varchar(528) NOT NULL,
  `target_id` int(11) unsigned DEFAULT NULL,
  `target_name` varchar(32) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `client` (`client_id`)
) ENGINE=MyISAM AUTO_INCREMENT=4013829 DEFAULT CHARSET=utf8 |

Answer 1

EXPLAIN和CREATE TABLE表示您没有用于优化WHERE子句的索引。这发生在ORDER BY之前。所以我们首先关注索引。

ALTER TABLE largeTable
    ADD INDEX(msg);

然而，由于两件事情，这不会起作用：

`msg` varchar(528) NOT NULL,
ENGINE=MyISAM

你需要528个字符吗？如果你可以把它降低到255，那就行了。（或者对于MyISAM来说可能是341。）

您运行的是哪个版本的MySQL？ 5.7允许528 + utf8成为索引。 5.6也可以这样做，但你必须采取一些措施才能实现。

Mysql为简单的频繁查询创建排序索引性能

1 个答案: