MySQL删除表中的重复行

时间:2014-06-13 07:15:19

标签: mysql sql runtime duplicates duplicate-removal

我这里有一张约600,000行的表格。在表格中我有一个整数列" uid"和varchar列" ex_id"哪个是重复条目(至少2次相同" ex_id")。问题是,我需要更新的二重奏。

所以我想我可以加入另一个表(也就是大约600,000行),其中我有一个Datetime列,还有" uid"柱。有没有办法在SQL中执行此操作,以便它不会永远运行该命令?我已经尝试过使用JOINS和GROUP BYs的不同方法,但要么他们没有工作,要么他们永远跑了,从来没有得到过工作结果。

TLDR:我想在600.000行表中删除旧的重复项,并且必须与另一个600.000行表连接才能找到旧的重复项。这可以在SQL中使用可行的运行时进行,还是必须使用PHP?

编辑:关于表格结构的更多信息:

[
{
    'id' : 1,
    'select_type' : 'SIMPLE',
    'table' : 'a',
    'type' : 'ALL',
    'possible_keys' : NULL,
    'key' : NULL,
    'key_len' : NULL,
    'ref' : NULL,
    'rows' : 569418,
    'Extra' : ''
},
{
    'id' : 1,
    'select_type' : 'SIMPLE',
    'table' : 'x',
    'type' : 'eq_ref',
    'possible_keys' : 'PRIMARY',
    'key' : 'PRIMARY',
    'key_len' : '8',
    'ref' : '---.a.user_id',
    'rows' : 1,
    'Extra' : 'Using where'
},
{
    'id' : 1,
    'select_type' : 'SIMPLE',
    'table' : 'b',
    'type' : 'ALL',
    'possible_keys' : NULL,
    'key' : NULL,
    'key_len' : NULL,
    'ref' : NULL,
    'rows' : 569418,
    'Extra' : 'Using where; Using join buffer'
},
{
    'id' : 1,
    'select_type' : 'SIMPLE',
    'table' : 'y',
    'type' : 'eq_ref',
    'possible_keys' : 'PRIMARY',
    'key' : 'PRIMARY',
    'key_len' : '8',
    'ref' : '---.b.user_id',
    'rows' : 1,
    'Extra' : 'Using where'
}
]

1 个答案:

答案 0 :(得分:1)

这应该可以通过连接实现。但是不知道你的表结构和索引是什么。

作为一个例子,这应该为您提供重复的uid列表: -

SELECT b.uid
FROM table1 a
INNER JOIN table2 x
ON a.uid = x.uid
INNER JOIN table1 b
ON a.ex_id = b.ex_id
INNER JOIN table2 y
ON b.uid = y.uid
WHERE x.datetime > y.datetime

从那以后你应该可以删除: -

DELETE b
FROM table1 a
INNER JOIN table2 x
ON a.uid = x.uid
INNER JOIN table1 b
ON a.ex_id = b.ex_id
INNER JOIN table2 y
ON b.uid = y.uid
WHERE x.datetime > y.datetime

请注意,可用的索引会对此查询(或任何其他类似查询)的性能产生巨大影响。