MySQL / MariaDB InnoDB索引停止工作

时间:2013-02-11 10:13:32

标签: mysql innodb indexing mariadb xtradb

我在MySQL / MariaDB InnoDB / XtraDB中遇到了奇怪的行为。最近切换到MariaDB 5.5。该交换机使整个服务器的性能更高,但我仍有这个问题。

一个特定的表索引似乎偶尔会破坏。过了一会儿,它自己解决了。

SHOW CREATE TABLE article_inventory;给出了

CREATE TABLE `article_inventory` (
    `id` BIGINT(20) UNSIGNED NOT NULL AUTO_INCREMENT,
    `article_variant_id` BIGINT(20) UNSIGNED NULL DEFAULT NULL,
    `season_id` BIGINT(20) UNSIGNED NOT NULL,
    `warehouse_id` BIGINT(20) UNSIGNED NOT NULL,
    `quantity` BIGINT(20) NOT NULL DEFAULT '0',
    PRIMARY KEY (`id`),
    UNIQUE INDEX `unique_inventory_idx` (`article_variant_id`, `season_id`, `warehouse_id`),
    INDEX `article_variant_id_idx` (`article_variant_id`),
    INDEX `article_inventory_season_id_idx` (`season_id`),
    INDEX `article_inventory_warehouse_id_idx` (`warehouse_id`),
    CONSTRAINT `article_inventory_article_variant_id_article_variant_id` FOREIGN KEY (`article_variant_id`) REFERENCES `article_variant` (`id`),
    CONSTRAINT `article_inventory_season_id_season_id` FOREIGN KEY (`season_id`) REFERENCES `season` (`id`),
    CONSTRAINT `article_inventory_warehouse_id_warehouse_id` FOREIGN KEY (`warehouse_id`) REFERENCES `warehouse` (`id`)
)
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=3827622858;

编辑:大多数SELECT查询都是针对此表进行的。每小时都会进行大量更新。有时非常大的更新。

运行此查询:

SELECT a.id
FROM article a
    INNER JOIN article_variant a2 
        ON a.style_id = a2.style_id
    INNER JOIN article_block a3 
        ON a2.po = a3.po
    INNER JOIN color c 
        ON a2.color_id = c.id
    INNER JOIN size s 
        ON a2.size_id = s.id
    INNER JOIN article_group a4 
        ON a2.id = a4.article_variant_id AND (a4.season_id = 6)
    INNER JOIN article_inventory a5 
        ON a2.id = a5.article_variant_id AND (((a5.warehouse_id = 5 OR a5.warehouse_id = 1) AND a5.season_id = 6))
    INNER JOIN article_date a6 
        ON a.style_id = a6.style_id AND ((a6.pricelist_id = 5 AND a6.season_id = 6))
    INNER JOIN article_price a7 
        ON a.style_id = a7.style_id AND ((a7.pricelist_id = 5 AND a7.season_id = 6))
    INNER JOIN pricelist p 
        ON a7.pricelist_id = p.id
    INNER JOIN concept c2 
        ON a4.concept_id = c2.id
    INNER JOIN category c3 
        ON a4.category_id = c3.id
    LEFT JOIN order_cart_row o 
        ON a2.id = o.article_variant_id AND (o.order_id = 17035)
    LEFT JOIN shortlist s2 
        ON a.id = s2.article_id AND (s2.order_id = 17035)
WHERE ((a2.is_canceled <> 1 AND a4.is_canceled <> 1) OR o.quantity IS NOT NULL) AND c2.id = 2
GROUP BY a.id

...应该在大约0.5-1.0秒内执行,并给我一个类似的解释:

id select_type table  type     possible_keys                                                                                               key                                 key_len    ref                                  rowsExtra
1  SIMPLE      p      const    PRIMARY                                                                                                     PRIMARY                             8          const                                1   Using index; Using temporary; Using filesort
1  SIMPLE      c2     const    PRIMARY                                                                                                     PRIMARY                             8          const                                1   Using index                            
1  SIMPLE      a3     index    PRIMARY                                                                                                     PRIMARY                             98         NULL                                 1031Using where                            
1  SIMPLE      a2     ref      PRIMARY,unique_variant_idx,color_id_idx,style_id_idx,size_id_idx,article_variant_po_idx                     article_variant_po_idx              98         wsp_stage.a3.po                      14  Using where                            
1  SIMPLE      s      eq_ref   PRIMARY                                                                                                     PRIMARY                             11         wsp_stage.a2.size_id                 1   Using index                            
1  SIMPLE      c      eq_ref   PRIMARY                                                                                                     PRIMARY                             11         wsp_stage.a2.color_id                1                                          
1  SIMPLE      o      eq_ref   unique_rows_idx,article_variant_id_idx,order_id_idx                                                         unique_rows_idx                     16         const,wsp_stage.a2.id                1   Using index                            
1  SIMPLE      a      eq_ref   unique_style_idx                                                                                            unique_style_idx                    767        wsp_stage.a2.style_id                1   Using index                            
1  SIMPLE      a6     ref      article_season_pricelist_unique_idx,season_id_idx,pricelist_id_idx,style_id_idx                             article_season_pricelist_unique_idx 784        wsp_stage.a2.style_id,const,const    1   Using index                            
1  SIMPLE      a7     ref      article_season_pricelist_unique_idx,season_id_idx,pricelist_id_idx,style_id_idx                             article_season_pricelist_unique_idx 784        wsp_stage.a2.style_id,const,const    1   Using index                            
1  SIMPLE      a4     eq_ref   unique_group_idx,one_per_season_idx,category_id_idx,concept_id_idx,season_id_idx,article_variant_id_idx     one_per_season_idx                  16         wsp_stage.a2.id,const                1   Using index                            
1  SIMPLE      c3     eq_ref   PRIMARY                                                                                                     PRIMARY                             8          wsp_stage.a4.category_id             1   Using index                            
1  SIMPLE      s2     ref      shortlist_article_id_idx                                                                                    shortlist_article_id_idx            8          wsp_stage.a.id                       10  Using where                            
1  SIMPLE      a5     ref      unique_inventory_idx,article_variant_id_idx,article_inventory_season_id_idx,article_inventory_warehouse_id_iunique_inventory_idx                17         wsp_stage.a2.id,const                8   Using where 

当一切正常时,article_inventory(别名a5)使用unique_inventory_idxarticle_variant_id_idx。两者都应该给我约5-100个检查行。

但是偶尔会发生一些事情,同样的查询需要大约30秒,并给我这个解释:

id select_type table  type     possible_keys                                                                                               key                                 key_len  ref                                  rows    Extra
1  SIMPLE      p      const    PRIMARY                                                                                                     PRIMARY                             8        const                                1       Using index; Using temporary; Using filesort
1  SIMPLE      c2     const    PRIMARY                                                                                                     PRIMARY                             8        const                                1       Using index
1  SIMPLE      a5     ref      unique_inventory_idx,article_variant_id_idx,article_inventory_season_id_idx,article_inventory_warehouse_id_iarticle_inventory_season_id_idx     8        const                                6718732 Using where
1  SIMPLE      a4     eq_ref   unique_group_idx,one_per_season_idx,category_id_idx,concept_id_idx,season_id_idx,article_variant_id_idx     one_per_season_idx                  16       wsp_stage.a5.article_variant_id,const1       Using where
1  SIMPLE      c3     eq_ref   PRIMARY                                                                                                     PRIMARY                             8        wsp_stage.a4.category_id             1       Using index
1  SIMPLE      a2     eq_ref   PRIMARY,unique_variant_idx,color_id_idx,style_id_idx,size_id_idx,article_variant_po_idx                     PRIMARY                             8        wsp_stage.a5.article_variant_id      1       
1  SIMPLE      c      eq_ref   PRIMARY                                                                                                     PRIMARY                             11       wsp_stage.a2.color_id                1       Using index
1  SIMPLE      a      eq_ref   unique_style_idx                                                                                            unique_style_idx                    767      wsp_stage.a2.style_id                1       Using index
1  SIMPLE      a6     ref      article_season_pricelist_unique_idx,season_id_idx,pricelist_id_idx,style_id_idx                             article_season_pricelist_unique_idx 784      wsp_stage.a2.style_id,const,const    1       Using index
1  SIMPLE      a7     ref      article_season_pricelist_unique_idx,season_id_idx,pricelist_id_idx,style_id_idx                             article_season_pricelist_unique_idx 784      wsp_stage.a2.style_id,const,const    1       Using index
1  SIMPLE      s      eq_ref   PRIMARY                                                                                                     PRIMARY                             11       wsp_stage.a2.size_id                 1       Using index
1  SIMPLE      a3     eq_ref   PRIMARY                                                                                                     PRIMARY                             98       wsp_stage.a2.po                      1       Using index
1  SIMPLE      o      eq_ref   unique_rows_idx,article_variant_id_idx,order_id_idx                                                         unique_rows_idx                     16       const,wsp_stage.a5.article_variant_id1       Using where
1  SIMPLE      s2     ref      shortlist_article_id_idx                                                                                    shortlist_article_id_idx            8        wsp_stage.a.id                       7       Using where

article_inventory(a5)现在正在使用article_inventory_season_id_idx。一个非常非常糟糕的索引,因为它是所有索引中的第二个最不具体的索引。给了6718732个检查行。

my.ini:

[mysqld]
datadir="W:/mariadb/data/"
port=3306
sql_mode="STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION"
default_storage_engine=innodb
innodb_buffer_pool_size=5000M
innodb_log_file_size=52428800
innodb_file_per_table
innodb_file_format=Barracuda

[client]
port=3307

1 个答案:

答案 0 :(得分:1)

首先,索引没有被破坏。这可能与表上的MySQL统计信息有关,建议查询优化器使用错误的索引。现在,在我们进入可能的解决方案之前,首先要了解导致它的原因。

当MySQL运行查询时,它会查看该表的统计信息,以确定哪些索引适合查询,然后根据建议选择正确的索引。表统计信息包含索引基数和与使用索引相关的成本等信息。 MySQL每次运行查询时都会查看这些统计信息,以确定最佳执行路径。

现在,由于索引是更新时存储在磁盘上的实际数据结构,因此从这些索引中插入和删除它们的统计信息会发生变化。这可能是问题的根本原因。 InnoDB通过对索引结构进行8次随机深度潜水,即时更新统计数据。 MyISAM以不同的方式做到了。有关此问题的更多信息,请参阅此链接:https://dba.stackexchange.com/questions/3398/from-where-does-the-mysql-query-optimizer-read-index-statistics

您提到过每隔一段时间就会进行重复更新。我怀疑在插入期间或插入发生之后,有一小段时间,表的innodb统计信息已过期或正在编译。这可能就是为什么你看到从一个指数到感染指数的零星变化。此时您的统计信息不正确,并且查询优化器做出了错误的选择。

go google:

mysql statistics update

有一大堆链接,有关于此的更多细节,这是一个很好的阅读。

我之前已经看到过这种情况发生在数据库上并且它不是一个BUG,它只是需要注意的事情。

可能的解决方案:

  1. 在批量插入后使用重复更新语句显式调用有问题的表上的ANALYZE TABLE。在更新后直接运行此命令可能会使您的统计信息变为正确的形式,因此它会建议正确的索引。缺点是您的系统实际上可能会重新编译两次统计信息,这是浪费资源的关键。请记住,我不确定在插入语句之后或期间是否出现此问题。
  2. 强制在select语句中使用正确的索引。您可以强制MySQL一直使用正确的索引。然而这是一个坏主意。在某些时候,另一个索引可能会针对您的查询进行更优化,因为您现在有效地将索引硬编码以用于查询,以后它将成为一个问题。
  3. 保持原样,这可能听起来很奇怪但是查询运行30秒是一场灾难吗?它可能取决于您的要求,但如果查询运行30秒可以尝试并修复它?请记住,如果没有破坏,请不要修理它。
  4. 如果您需要更多澄清,我希望在发表评论时这是有道理的.....