我有大量原始数据（大约3亿行），大约有10％的复制数据。我需要将数据存入数据库。为了性能，我正在尝试使用SQL副本。问题是当我提交数据时，主键异常会阻止处理任何数据。我是否可以更改主键的行为，以便简单地忽略或替换冲突的数据？我不关心任何一种方式 - 我只需要每个数据的一个唯一副本。
答案 0 :(得分：2)
我认为最好的办法是放弃约束，加载数据，然后清理它并重新应用约束。
答案 1 :(得分：0)
这就是我正在考虑的事情，但是担心在300万条目数据库中摆脱3000万随机排列的行为。重复数据也有空间关系，这就是为什么我想在加载数据时尝试修复问题而不是在我全部加载数据之后。
答案 2 :(得分：0)
使用select语句准确选择要插入的数据，不带重复项。
使用它作为CREATE TABLE XYZ AS SELECT * FROM（query-just-non-dupes）的基础
您可以查看有关如何选择非重复行的ASKTOM提示