如何从搜索引擎中删除相似的URL

Question

我制作了一个基本的搜索引擎和网络搜寻器，其中搜寻器通过主URL搜寻URL并将其上传到数据库。问题是存在相似的链接，它们重复且阻塞了我数据库中的空间并聚集了搜索结果。

重复示例：

从图片中可以看到，URL指向同一页面，但链接稍有不同。其他许多网站也是如此。