当新行本身具有重复项时，如何在Postgresql中插入没有重复项的行？

Question

PostgreSQL 10.1 + Node.js 8.9.1

我有一个大约150万行的表，其中的文本列大约为150〜1500个字。
现在，我必须插入约1万个新行，新行中以及新行和旧行之间可能存在重复项。

我想确保没有重复或几乎相同的文本。 现在，我正在使用smlar来计算两行文本之间的相似度。

还有另一种插入新行的方法吗？我必须创建一个临时表来存储新行，然后在插入一个新表之前进行两个查询吗？

谢谢。