如何使用Solr索引许多网址的目标网页？

Question

我有一个包含数千个网址的列表（源自书签）。我需要能够搜索这些网址的目标网页。我不需要网络爬虫功能，但我需要重复数据删除功能。

我是solr的新手，并试图找出创建索引的最简单方法。我正在考虑使用SimplePostTool接受多个URL作为其参数。但是，我很难理解如何使用此SimplePostTool进行重复数据删除。

还有其他方法可以进行此索引吗？ 感谢任何提示。 感谢。