Question

所以我正在为一个网站抓取网址并将这些网址存储在数据库中我正在寻找最简单的方法来比较新的网址和存储的网址，只添加当前存储在数据库中的网址。我在php中使用mysql db。

Answer 1

为网址指定UNIQUE索引。在您的查询中：

INSERT IGNORE INTO table (field1,field2) VALUES ('value1','value2')

当它们已存在于数据库中时，将跳过该URL。

Answer 2

您使用phpmyadmin管理数据库吗？

在任何情况下，为了使其快速，您需要在包含url的列上创建“索引”。如果您想确保只存储唯一的网址，请使用“unqiue index”。