Question

我需要从我的一个表中删除所有重复的记录，问题是没有任何id或唯一或键列，所以我不能做这样的事情：

delete from tbl using tbl,tbl t2 where tbl.locationID=t2.locationID
  and tbl.linkID=t2.linkID  and tbl.ID>t2.ID

因为它需要id列或唯一或键列我无法做出

ALTER IGNORE TABLE 'mytable' ADD UNIQUE INDEX

因为有些信息总是必要重复，而其他信息则不然我无法做到这一点：

DELETE FROM 'table' WHERE 'field' IN (SELECT 'field' FROM 'table' GROUP BY 'field'HAVING (COUNT('field')>1))

因为它会删除所有重复的内容，永远不会留下一个这是我的表格的一个例子


+----------+----------------------+-------------+-------------+
| phone    | address              | name        | cellphone   |
+----------+----------------------+-------------+-------------+
| 2555555  | 1020 PANORAMA        | JUAN CARLOS | 0999999999  | diferent address
| 2555555  | GABRIEL JOSE 1020    | JUAN CARLOS | 0999999999  | good one
| 2555555  | GABRIEL JOSE 1020    | JUAN CARLOS | 0999999999  | duplicated
| 2555555  | C ATARAZANA 1020     | SILVIA      | 0777777777  | another good one
| 2555555  | C ATARAZANA 1020     | SILVIA      | 0777777777  | another duplicated
| 2555555  | GABRIEL JOSE 1020    | VIOLETA     | 0888888888  | diferent person
+----------+----------------------+-------------+-------------+

这就是我想要离开的


+----------+----------------------+--------------+-------------+
| phone    | address              | name         | cellphone   |
+----------+----------------------+--------------+-------------+
| 2555555  | 1020 PANORAMA        | JUAN CARLOS  | 0999999999  |
| 2555555  | GABRIEL JOSE 1020    | JUAN CARLOS  | 0999999999  |
| 2555555  | C ATARAZANA 1020     | SILVIA       | 0777777777  |
| 2555555  | GABRIEL JOSE 1020    | VIOLETA      | 0888888888  |
+----------+----------------------+--------------+-------------+

我不能截断或删除原始表，因为它使用24/7并且有10000000条记录....

请帮帮我。

Answer 1

使用 ALTER IGNORE 添加唯一索引（表格的所有列）将删除重复项：

ALTER IGNORE TABLE table_name
  ADD UNIQUE INDEX all_columns_uq
    (phone, address, name, cellphone) ;

经过 SQL-Fiddle 测试。

注意：在版本5.5中（由于快速索引创建的实现中存在错误），只有在ALTER之前提供此设置：

SET SESSION old_alter_table=1 ;

Answer 2

它非常简单，只需创建一个临时表并删除另一个表然后重新创建它

CREATE TEMPORARY TABLE IF NOT EXISTS no_dupes AS 
(SELECT * FROM test GROUP BY phone, address, name, cellphone);

TRUNCATE table test;
INSERT INTO test (phone, address, name, cellphone) 
SELECT phone, address, name, cell FROM no_dupes;

WORKING DEMO

Answer 3

我使用子查询。类似的东西：

DELETE FROM table1
WHERE EXISTS (
SELECT field1 
FROM table1 AS subTable1 
WHERE table1.field1 = subTable1.field1 and table1.field2 = subTable1.field2)

虽然没有尝试过。

Answer 4

每个表总有一个PK，但你可以将列组合为一个唯一的id，所以如果你想要的话，可以使用一个完整的行作为唯一的id ...但是我不建议使用一个完整的行，你应该搜索哪些是你可以使用PK的最重要的列，当你这样做时，你可以复制数据，如果没有问题，mysql将不会复制重复的行。

抱歉我的英文不好

从没有pk或id的表中删除重复记录或在mysql中删除唯一列

4 个答案: