检查重复时插入大表的性能

Question

我有一个包含varchar（100）的简单表。我试图用10亿个独特的记录来填充它。我有一个存储过程，它接受一个表类型参数一次包含1000条记录并将其插入表中，同时检查没有重复存在。大约5000万后性能下降。我尝试对表进行分片并使用sql表分区和均衡分布，但没有观察到增益。

如何在sql中以合理的性能构建此解决方案？

Answer 1

您可能希望在将数据放入数据库之前尝试重复数据删除，然后在插入时禁用唯一键，这样您就不必在进行时重建数据。