提高MySQL选择和更新查询性能的有效方法

时间:2012-08-18 11:06:34

标签: mysql performance select

我在My-SQL数据库中有两个主表。

Table1 is -> Master
Table2 is -> Stock

主表有大约500K(五十万)行,每一行都是唯一的。主表的每列都有一个外键(下面附有样本)

目前库存表约有20K行;它可以在不久的将来达到300K。

问题

我的问题是我正在对这些表执行SQL查询,这会占用未知的时间。所以想知道,我如何才能提高MySQL数据库的性能,以加快SQL查询的执行时间。

SQL Query执行以下操作:

搜索主表 - >搜索库存表 - >更新主表

我正在通过PHP文件执行SQL查询,我在浏览器中运行以完成上述步骤。因为Master表有超过500K的记录,所以我一次只调用1,000条记录,并执行上述步骤,再次迭代到下一批1,000条记录,直到Master表结束为止。

我通过使用---实现这一点 for循环到搜索表;总共大约5390个周期 while循环搜索Stock and Update Master表。

测试
出于测试目的,我将Stock表减少了100个记录,并使Master保留所有539K记录以检查执行时间。 大约需要140~150秒。

脚本
我附上了我的脚本

<?php
set_time_limit(36000);

$dbhost='localhost';
$dbuser='root';
$dbpass='';

$conn = mysql_connect($dbhost, $dbuser, $dbpass);

mysql_select_db("pmaster",$conn);

if (!$conn) {   die('Could not connect : '.mysql_error());  }

$trecssql = "select count(distinct `Id`) Total from `Master`";
$trecs = mysql_fetch_assoc(mysql_query($trecssql));

$trecs = $trecs['Total'];
$recspt = 1000; // Records Per Transactions 539000
$trecs = ceil($trecs/$recspt);
$startrow = 1;
$endrow = 1000;
//$trecs = 50; // Comment it to work as normal.

$start_time = microtime(true);

以下是批次循环

for ($i=1; $i<=$trecs; $i++) {

以下是获取批次主行

的查询
    $mastersql = "select `Id`, 
                         `Attribute1`, `Attribute2`, 
                         `Attribute3`, `Attribute4`, `Attribute5` 
                   from `Master` 
               where Id between ".$startrow." and ".$endrow;
    $this_mastersql = mysql_query($mastersql);
    $updatesql = '';

这是处理批次的循环

    while($master_rec = mysql_fetch_assoc($this_mastersql)) {

这是一个查询,总结了Master中每个项目的Stock内容。

       $searchsql = "select min(Price) minprice, 
                            avg(Price) avgprice, 
                            max(Price) maxprice, 
                            Currency from `Stock`
                      where     Name1 = '".$master_rec['Attribute1']."'
                    AND     Name2 = '".$master_rec['Attribute2']."'
                        AND     Name3 = '".$master_rec['Attribute3']."'
                        AND     Name4 = '".$master_rec['Attribute4']."'
                        AND     Name5 = '".$master_rec['Attribute5']."';";

        $this_searchsql = mysql_query($searchsql);
        $search_rec = mysql_fetch_assoc($this_searchsql);

以下是更新Master表的查询。

        $updatesql .= "update `Master`
                set `MinP` = '".$search_rec['minprice']."',
                    `AvgP` = '".$search_rec['avgprice']."',
                                `MaxP` = '".$search_rec['maxprice']."',
                                `Currency` = '".$search_rec['currency']."'
                            where Id = '".$master_rec['Id']."';";
    }

    mysql_query($updatesql);

    $startrow = $endrow+1;
    $endrow = $startrow+999;
}



$end_time = microtime(true);

echo 'Updated <br /><br />';
echo "Scripts Execution time <br />";
echo "Time in Hours : Minutes : Seconds <br />"
     .gmdate("H:i:s", $time_elapsed = $end_time - $start_time);
echo "<br /> <br /> Time in Seconds ".$time_elapsed;

?>

表格结构
在Excel文件中附加主表的样本 https://docs.google.com/open?id=0B8Oew7S4GzgiQk5tbUZKdXVEUms

CREATE TABLE IF NOT EXISTS `Attribute1` (
  `Id` int(3) NOT NULL,
  `Name` varchar(50) NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

CREATE TABLE IF NOT EXISTS `Attribute2` (
  `Id` int(10) NOT NULL,
  `Name` decimal(3,2) NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

CREATE TABLE IF NOT EXISTS `Attribute3` (
  `Id` int(3) NOT NULL,
  `Name` varchar(5) NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

CREATE TABLE IF NOT EXISTS `Attribute4` (
  `Id` int(3) NOT NULL,
  `Name` varchar(20) NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

CREATE TABLE IF NOT EXISTS `Attribute5` (
  `Id` int(3) NOT NULL,
  `Name` varchar(100) NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

CREATE TABLE IF NOT EXISTS `Master` (
  `Id` int(20) NOT NULL AUTO_INCREMENT,
  `Attribute1` varchar(50) DEFAULT NULL,
  `Attribute2` decimal(3,2) DEFAULT NULL,
  `Attribute3` varchar(5) DEFAULT NULL,
  `Attribute4` varchar(20) DEFAULT NULL,
  `Attribute5` varchar(100) DEFAULT NULL,
  `MinP` decimal(10,2) DEFAULT NULL,
  `AvgP` decimal(10,2) DEFAULT NULL,
  `MaxP` decimal(10,2) DEFAULT NULL,
  `Currency` varchar(5) DEFAULT NULL,
  PRIMARY KEY (`Id`),
  KEY `Attribute1` (`Attribute1`),
  KEY `Attribute2` (`Attribute2`),
  KEY `Attribute3` (`Attribute3`),
  KEY `Attribute4` (`Attribute4`),
  KEY `Attribute5` (`Attribute5`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;

--
-- Constraints for table `Master`
--
ALTER TABLE `Master`
  ADD CONSTRAINT `Master_ibfk_1` FOREIGN KEY (`Attribute1`) REFERENCES 
      `Attribute1` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
  ADD CONSTRAINT `Master_ibfk_2` FOREIGN KEY (`Attribute2`) REFERENCES 
      `Attribute2` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
  ADD CONSTRAINT `Master_ibfk_3` FOREIGN KEY (`Attribute3`) REFERENCES 
      `Attribute3` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
  ADD CONSTRAINT `Master_ibfk_4` FOREIGN KEY (`Attribute4`) REFERENCES 
      `Attribute4` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
  ADD CONSTRAINT `Master_ibfk_5` FOREIGN KEY (`Attribute5`) REFERENCES 
      `Attribute5` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE;


CREATE  TABLE  `pmaster`.`Stock` (  
 `Id` int( 10  )  NOT  NULL  AUTO_INCREMENT ,
 `Name1` varchar( 10  )  NOT  NULL ,
 `Name2` decimal( 5, 2  )  NOT  NULL ,
 `Name3` varchar( 5  )  NOT  NULL ,
 `Name4` varchar( 5  )  NOT  NULL ,
 `Name5` varchar( 40  )  NOT  NULL ,
 `OtherFields1` varchar( 20  )  NOT  NULL ,
 `OtherFields2` varchar( 25  )  NOT  NULL ,
 `SoOn` varchar( 15  )  NOT  NULL ,
 `Price` decimal( 15, 2  )  NOT  NULL ,
 `Currency` varchar( 5  )  NOT  NULL ,
 PRIMARY  KEY (  `id`  ) ,
) ENGINE  = InnoDB  DEFAULT CHARSET  = latin1;



目前,Stock表中只有100个记录需要大约140到150秒,并且由于记录增加了流量需要的时间,并且20K记录需要多长时间,还没有尝试总共需要多少时间,但最后脚本运行超过3个小时的时间,我不得不退出,因为没有更新主表中的单个记录。

意味着它可能只是完成的1%到2%,或者可能更少。

任何想法的朋友怎么能以更快的方式完成。
如果您需要这些数据库的数据,请告知我们将在此处生成并上传。

1 个答案:

答案 0 :(得分:2)

你应该考虑删除你的1000批记录。您应该考虑使用此查询,而不是两次查询。此查询将为您需要在主表中执行的每个UPDATE生成一行。

SELECT m.Id, 
       min(s.Price) minprice, 
       avg(s.Price) avgprice, 
       max(s.Price) maxprice, 
       s.Currency 
  FROM Stock s
 INNER JOIN Master m
     ON (    s.Name1 = m.Attribute1
         AND s.Name2 = m.Attribute2
         AND s.Name3 = m.Attribute3
         AND s.Name4 = m.Attribute4
         AND s.Name5 = m.Attribute5)
  GROUP BY m.Id, s.Currency

此查询为Stock表中的每组行生成一行,该行与主表中的属性匹配。

如果在Stock表中的Name项目上放置复合索引,而在Master表中的Attribute项目上放置另一个索引,则此查询应该相当有效。