我在My-SQL数据库中有两个主表。
Table1 is -> Master
Table2 is -> Stock
主表有大约500K（五十万）行，每一行都是唯一的。主表的每列都有一个外键（下面附有样本）
目前库存表约有20K行;它可以在不久的将来达到300K。
问题
我的问题是我正在对这些表执行SQL查询，这会占用未知的时间。所以想知道，我如何才能提高MySQL数据库的性能，以加快SQL查询的执行时间。
SQL Query执行以下操作：
搜索主表 - ＆gt;搜索库存表 - ＆gt;更新主表
我正在通过PHP文件执行SQL查询，我在浏览器中运行以完成上述步骤。因为Master表有超过500K的记录，所以我一次只调用1,000条记录，并执行上述步骤，再次迭代到下一批1,000条记录，直到Master表结束为止。
我通过使用---实现这一点 for循环到搜索表;总共大约5390个周期 while循环搜索Stock and Update Master表。
测试的
出于测试目的，我将Stock表减少了100个记录，并使Master保留所有539K记录以检查执行时间。
大约需要140~150秒。
脚本
我附上了我的脚本
<?php
set_time_limit(36000);
$dbhost='localhost';
$dbuser='root';
$dbpass='';
$conn = mysql_connect($dbhost, $dbuser, $dbpass);
mysql_select_db("pmaster",$conn);
if (!$conn) { die('Could not connect : '.mysql_error()); }
$trecssql = "select count(distinct `Id`) Total from `Master`";
$trecs = mysql_fetch_assoc(mysql_query($trecssql));
$trecs = $trecs['Total'];
$recspt = 1000; // Records Per Transactions 539000
$trecs = ceil($trecs/$recspt);
$startrow = 1;
$endrow = 1000;
//$trecs = 50; // Comment it to work as normal.
$start_time = microtime(true);
以下是批次循环
for ($i=1; $i<=$trecs; $i++) {
以下是获取批次主行
的查询 $mastersql = "select `Id`,
`Attribute1`, `Attribute2`,
`Attribute3`, `Attribute4`, `Attribute5`
from `Master`
where Id between ".$startrow." and ".$endrow;
$this_mastersql = mysql_query($mastersql);
$updatesql = '';
这是处理批次的循环
while($master_rec = mysql_fetch_assoc($this_mastersql)) {
这是一个查询，总结了Master中每个项目的Stock内容。
$searchsql = "select min(Price) minprice,
avg(Price) avgprice,
max(Price) maxprice,
Currency from `Stock`
where Name1 = '".$master_rec['Attribute1']."'
AND Name2 = '".$master_rec['Attribute2']."'
AND Name3 = '".$master_rec['Attribute3']."'
AND Name4 = '".$master_rec['Attribute4']."'
AND Name5 = '".$master_rec['Attribute5']."';";
$this_searchsql = mysql_query($searchsql);
$search_rec = mysql_fetch_assoc($this_searchsql);
以下是更新Master表的查询。
$updatesql .= "update `Master`
set `MinP` = '".$search_rec['minprice']."',
`AvgP` = '".$search_rec['avgprice']."',
`MaxP` = '".$search_rec['maxprice']."',
`Currency` = '".$search_rec['currency']."'
where Id = '".$master_rec['Id']."';";
}
mysql_query($updatesql);
$startrow = $endrow+1;
$endrow = $startrow+999;
}
$end_time = microtime(true);
echo 'Updated <br /><br />';
echo "Scripts Execution time <br />";
echo "Time in Hours : Minutes : Seconds <br />"
.gmdate("H:i:s", $time_elapsed = $end_time - $start_time);
echo "<br /> <br /> Time in Seconds ".$time_elapsed;
?>
表格结构
在Excel文件中附加主表的样本
https://docs.google.com/open?id=0B8Oew7S4GzgiQk5tbUZKdXVEUms
CREATE TABLE IF NOT EXISTS `Attribute1` (
`Id` int(3) NOT NULL,
`Name` varchar(50) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute2` (
`Id` int(10) NOT NULL,
`Name` decimal(3,2) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute3` (
`Id` int(3) NOT NULL,
`Name` varchar(5) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute4` (
`Id` int(3) NOT NULL,
`Name` varchar(20) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Attribute5` (
`Id` int(3) NOT NULL,
`Name` varchar(100) NOT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `Name` (`Name`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;
CREATE TABLE IF NOT EXISTS `Master` (
`Id` int(20) NOT NULL AUTO_INCREMENT,
`Attribute1` varchar(50) DEFAULT NULL,
`Attribute2` decimal(3,2) DEFAULT NULL,
`Attribute3` varchar(5) DEFAULT NULL,
`Attribute4` varchar(20) DEFAULT NULL,
`Attribute5` varchar(100) DEFAULT NULL,
`MinP` decimal(10,2) DEFAULT NULL,
`AvgP` decimal(10,2) DEFAULT NULL,
`MaxP` decimal(10,2) DEFAULT NULL,
`Currency` varchar(5) DEFAULT NULL,
PRIMARY KEY (`Id`),
KEY `Attribute1` (`Attribute1`),
KEY `Attribute2` (`Attribute2`),
KEY `Attribute3` (`Attribute3`),
KEY `Attribute4` (`Attribute4`),
KEY `Attribute5` (`Attribute5`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 AUTO_INCREMENT=1 ;
--
-- Constraints for table `Master`
--
ALTER TABLE `Master`
ADD CONSTRAINT `Master_ibfk_1` FOREIGN KEY (`Attribute1`) REFERENCES
`Attribute1` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_2` FOREIGN KEY (`Attribute2`) REFERENCES
`Attribute2` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_3` FOREIGN KEY (`Attribute3`) REFERENCES
`Attribute3` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_4` FOREIGN KEY (`Attribute4`) REFERENCES
`Attribute4` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE,
ADD CONSTRAINT `Master_ibfk_5` FOREIGN KEY (`Attribute5`) REFERENCES
`Attribute5` (`Name`) ON DELETE CASCADE ON UPDATE CASCADE;
CREATE TABLE `pmaster`.`Stock` (
`Id` int( 10 ) NOT NULL AUTO_INCREMENT ,
`Name1` varchar( 10 ) NOT NULL ,
`Name2` decimal( 5, 2 ) NOT NULL ,
`Name3` varchar( 5 ) NOT NULL ,
`Name4` varchar( 5 ) NOT NULL ,
`Name5` varchar( 40 ) NOT NULL ,
`OtherFields1` varchar( 20 ) NOT NULL ,
`OtherFields2` varchar( 25 ) NOT NULL ,
`SoOn` varchar( 15 ) NOT NULL ,
`Price` decimal( 15, 2 ) NOT NULL ,
`Currency` varchar( 5 ) NOT NULL ,
PRIMARY KEY ( `id` ) ,
) ENGINE = InnoDB DEFAULT CHARSET = latin1;
目前，Stock表中只有100个记录需要大约140到150秒，并且由于记录增加了流量需要的时间，并且20K记录需要多长时间，还没有尝试总共需要多少时间，但最后脚本运行超过3个小时的时间，我不得不退出，因为没有更新主表中的单个记录。
意味着它可能只是完成的1％到2％，或者可能更少。
任何想法的朋友怎么能以更快的方式完成。
如果您需要这些数据库的数据，请告知我们将在此处生成并上传。
答案 0 :(得分：2)
你应该考虑删除你的1000批记录。您应该考虑使用此查询，而不是两次查询。此查询将为您需要在主表中执行的每个UPDATE生成一行。
SELECT m.Id,
min(s.Price) minprice,
avg(s.Price) avgprice,
max(s.Price) maxprice,
s.Currency
FROM Stock s
INNER JOIN Master m
ON ( s.Name1 = m.Attribute1
AND s.Name2 = m.Attribute2
AND s.Name3 = m.Attribute3
AND s.Name4 = m.Attribute4
AND s.Name5 = m.Attribute5)
GROUP BY m.Id, s.Currency
此查询为Stock表中的每组行生成一行，该行与主表中的属性匹配。
如果在Stock表中的Name项目上放置复合索引，而在Master表中的Attribute项目上放置另一个索引，则此查询应该相当有效。