使用子查询&更新行加入查询 - 真的死得很慢

时间:2013-03-06 11:42:41

标签: php mysql sql database performance

我需要将表'A'的标记从'X'重置为'Y',其中行的update_date满足条件1. update_date > 1 month, 2. flag = 'X' & 3. type = 1

并根据另一个表'B'检查update_date。我希望以下查询将解释我究竟需要什么。此查询也适合我。但问题是需要花费太长时间。实际上我的表格A & B要大得多,几乎有十亿行,而且大约有10列。

当我运行我的子查询以选择A.id时,我立即得到了结果。

 SELECT a.id 
 FROM A a 
 JOIN B b 
 ON (a.id = b.id 
       AND a.name = b.name 
       AND a.type = 1 
       AND a.flag = 'X' 
       AND a.update_date > DATE_SUB(NOW(), INTERVAL 1 MONTH) tmp_table)

但是只有更新查询,即使我放了限制也需要花费很多时间。

UPDATE A 
SET flag='Y' 
WHERE id IN (SELECT a.id 
             FROM A a 
             JOIN B b 
             ON (a.id = b.id 
                   AND a.name = b.name 
                   AND a.type = 1 
                   AND a.flag = 'X' 
                   AND a.update_date > DATE_SUB(NOW(), INTERVAL 1 MONTH) tmp_table))  
             LIMIT 100

我正在寻找我的查询的替代解决方案,这使得它很快。希望我能为它编写一个存储过程。但是在SP我应该为每个target_ids循环一次吗?

我不希望在PHP中编写两个单独的查询,因为我的PHP脚本中有许多线程在cron上运行,返回相同的结果(时间延迟)。

另外需要注意的是,我确实为列提供了足够的索引。

希望通过限制更新限制。即,每次运行都会更新1000多条记录。

3 个答案:

答案 0 :(得分:3)

使用存在进行更改

EXISTS会更快,因为一旦引擎发现了一个命中,它就会退出,因为条件证明是正确的。使用IN,它将在进一步处理之前收集子查询中的所有结果。

UPDATE A a
JOIN B b 
ON (a.id = b.id 
               AND a.name = b.name 
               AND a.type = 1 
               AND a.flag = 'X' 
               AND a.update_date > DATE_SUB(NOW(), INTERVAL 1 MONTH))
SET a.flag='Y'
ORDER BY a.id LIMIT 1000;

EDITED支持LIMIT的替代品(IT将仅更新前100条记录)

SET @rn = 0;
UPDATE A a
JOIN (SELECT @rn:=@rn+1 AS rId, id, name FROM B b 
      JOIN A a 
      ON (@rn < 100 AND a.id = b.id 
               AND a.name = b.name 
               AND a.type = 1 
               AND a.flag = 'X' 
               AND a.update_date > DATE_SUB(NOW(), INTERVAL 1 MONTH)
      ) 

) b 
ON (a.id=b.id) 
SET a.flag='Y'
WHERE b.rId < 100;

使用exists子句

Update A a 
SET a.flag='Y'
WHERE EXISTS (SELECT 1 FROM B b WHERE a.id = b.id 
               AND a.name = b.name 
               AND a.type = 1 
               AND a.flag = 'X' 
               AND a.update_date > DATE_SUB(NOW(), INTERVAL 1 MONTH)) 
ORDER BY a.id LIMIT 1000;

希望这有帮助

答案 1 :(得分:0)

您也可以使用加入

UPDATE A
  LEFT JOIN (SELECT
           a.id
         FROM A AS a
           JOIN B AS b
         ON a.id = b.id
         WHERE a.name = b.name
         AND a.type = 1
         AND a.flag = 'X'
         AND a.update_date > DATE_SUB(NOW(), INTERVAL 1 MONTH)) AS l
    ON l.id = A.id
SET flag = 'Y'
WHERE id = l.id

答案 2 :(得分:0)

最后,我获得了性能更佳的优化查询。 简单地加入临时表。

UPDATE A AS a JOIN (
SELECT a.id FROM A AS a JOIN B AS b ON
    b.type = a.type 
    AND b.name = a.name 
    AND b.last_update_date < DATE_SUB(NOW(), INTERVAL 1 MONTH) 
    AND a.type = 1 
    AND a.flag = 'X' 
ORDER BY a.id DESC LIMIT 1000)
AS source ON source.id = a.id
SET flag = 'Y';

感谢http://www.xaprb.com/blog/2006/08/10/how-to-use-order-by-and-limit-on-multi-table-updates-in-mysql