在SAN环境中进行MySQL I / O调优

时间:2014-07-15 10:40:32

标签: mysql innodb query-performance san

我有MySQL

MySQL version: 5.6.16-enterprise-commercial-advanced-log
MySQL Engine: InnoDB
MySQL Data Size: 35GB (including 9GB of indexes)

正在

上运行
VM: Red Hat Enterprise Linux Server release 5.9 (Tikanga)
File system: ext3
Storage technology: SAN
Disk data format: RAID-5
Disk type: SAS with Fibre channel

我发现很多SELECT查询由于与I / O相关的操作而花费时间(尽管必要的索引和缓冲区被添加到同一个中)

mysql> show profile for query 1;
+----------------------+------------+
| Status               | Duration   |    
+----------------------+------------+
| starting             |   0.000313 |
| checking permissions |   0.000024 |
| checking permissions |   0.000018 |
| Opening tables       |   0.000086 |
| init                 |   0.000121 |
| System lock          |   0.000092 |
| optimizing           |   0.000079 |
| statistics           |   0.000584 |
| preparing            |   0.000070 |
| executing            |   0.000014 |
| Sending data         | 202.362338 |
| end                  |   0.000068 |
| query end            |   0.000027 |
| closing tables       |   0.000049 |
| freeing items        |   0.000124 |
| logging slow query   |   0.000135 |
| cleaning up          |   0.000057 |
+----------------------+------------+

以下网络延迟和吞吐量是否适合上述数据库实例?

$ time dd if=/dev/zero of=foobar bs=4k count=10000
10000+0 records in
10000+0 records out
40960000 bytes (41 MB) copied, 1.22617 seconds, 33.4 MB/s
real    0m1.233s
user    0m0.002s
sys 0m0.049s

$ time dd if=foobar of=/dev/null bs=4k count=10000
10000+0 records in
10000+0 records out
40960000 bytes (41 MB) copied, 0.026479 seconds, 1.5 GB/s
real    0m0.032s
user    0m0.004s
sys 0m0.024s

$ time dd if=/dev/zero of=foobar bs=128K count=10000
10000+0 records in
10000+0 records out
1310720000 bytes (1.3 GB) copied, 78.1099 seconds, 16.8 MB/s
real    1m18.241s
user    0m0.012s
sys 0m1.117s

$ time dd if=foobar of=/dev/null bs=128K count=10000
10000+0 records in
10000+0 records out
163840000 bytes (164 MB) copied, 0.084886 seconds, 1.9 GB/s
real    0m0.101s
user    0m0.002s
sys 0m0.083s

$ time dd if=/dev/zero of=foobar bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 461.587 seconds, 22.7 MB/s
real    7m42.700s
user    0m0.017s
sys 0m8.229s

$ time dd if=foobar of=/dev/null bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 4.63128 seconds, 2.3 GB/s
real    0m4.634s
user    0m0.003s
sys 0m4.579s

MySQL系统变量的以下更改是否会在MySQL I / O调优环境中产生正面结果?

  1. innodb_flush_method:O_DSYNC(推荐http://bugs.mysql.com/bug.php?id=54306读取繁重的工作量)
  2. 从ext3迁移到XFS文件系统

1 个答案:

答案 0 :(得分:4)

很难回答你的问题,因为对于性能问题,答案通常是“它取决于”。遗憾。

您需要做的第一件事就是了解实际发生了什么,以及为什么您的表现低于预期。有各种各样的工具,特别是在Linux系统上。

首先,获取系统读写性能的基准。 我倾向于使用的简单测试是计算dd

time dd if=/dev/zero of=/your/san/mount/point/testfile bs=1M count=100
time dd if=/your/san/mount/point/testfile of=/dev/null bs=1M count=100

(如果快速完成,则将100增加到1000)。这将使您了解存储系统的持续吞吐量

每秒测试IO操作是类似的事情 - 做同样的事情,但使用小块大小和大量计数。 4k块大小,10,000作为计数 - 再次,如果它有点太快,增加数量。

这将使您估计存储子系统的IOP和吞吐量。

现在,您还没有具体说明您使用的磁盘类型和主轴数量。作为一个非常粗略的经验法则,在性能开始降低之前,您应该期望来自SATA驱动器的75个IOP,来自FC或SAS驱动器的150个IOP以及来自SSD的1500个IOP。

但是,当您使用RAID-5时,您需要考虑RAID-5的写入惩罚 - 即4.这意味着您的RAID-5需要4个操作才能执行一次写入IO。 (没有读取惩罚,但由于显而易见的原因,您的“奇偶校验”驱动器不算作主轴)。

您的工作量如何?主要是读取,主要是写作?有多少IOP?有多少锭子?老实说,问题的根源更可能是存储子系统的期望。