检测新链接并将其添加到db

Question

我fetch一个页面，用于查找和收集其部分链接（使用arrays），并将它们添加到数据库中。当“重新获取”源页面时，它可能有新的链接。我如何避免将旧链接插入数据库并仅添加新链接？

一个想法是搜索db中的每个获取链接并避免插入双重链接，但它在大数据库中使用重源。

Answer 1

您可以在表格中使用以下字段'url'uniq：

ALTER IGNORE TABLE mytbl ADD UNIQUE (columnName);

然后浏览每个链接并添加它们，如果该字段存在mysql并拒绝它。

如果您拥有对要删除的页面的授予访问权限，则可以添加一个类，该类说明您何时已通过此URL。然后只查找链接  这堂课。

Answer 2

您可以使用链接信息在数据库中添加在MD5（16字节）或SHA-1（30字节）等算法中计算的哈希，以检查哈希是否存在。