搜索大量的字符串php和mysql

Question

我希望这是提问的正确方法。

我正在php（Magento）中进行一些自定义开发，并且我有一个要求从文件中收集所有字符串并保存在自定义表中。到目前为止，我创建了一个按钮（需要刷新才能获取所有字符串），该按钮将收集所有字符串并保存在我的自定义表中。当我第一次单击时，它发现了超过15K的字符串并保存在我的自定义表中，这是正确的。但是，每当我尝试单击“刷新”按钮时，都需要避免在自定义表中重复该字符串。

所以我的问题是如何避免每个字符的字符串比较（我使用“ avoid”一词，因为这个数字可能会增加，将来可能会增加20K），以避免重复，或者我可以在表中添加UNIQUE Con​​straint吗？哪一种是正确的方式或任何专家建议？

编辑

我想避免在表中重复输入。例如，当我单击“刷新”按钮时，它找到5个条目并将其保存在我的自定义表中，

表

id       some_column                         
1         (Excl. Tax)             
2         (Incl. Tax)             
3         Target Rule/Product             
4         File %1 does not exist             
5         hello             
...

现在，每当我单击“刷新”按钮时，都可以找到相同的条目，但是由于该条目是重复项，所以我不想在表中添加它。