截断并重新插入或插入唯一

Question

我的客户端获取我需要插入数据库的CSV文件或固定宽度文件 每次获得新文件时，它都包含除新文件之外的所有历史记录。

我的问题是，最好截断整个表并重新插入它们还是尝试仅插入唯一的行？如果插入唯一更好，这将如何有效地完成？

修改：最大的CSV为186,868行，重复数据超过99％。