如何使用Solr索引许多网址的目标网页?

时间:2017-06-27 15:14:58

标签: solr

我有一个包含数千个网址的列表(源自书签)。我需要能够搜索这些网址的目标网页。我不需要网络爬虫功能,但我需要重复数据删除功能。

我是solr的新手,并试图找出创建索引的最简单方法。我正在考虑使用SimplePostTool接受多个URL作为其参数。但是,我很难理解如何使用此SimplePostTool进行重复数据删除。

还有其他方法可以进行此索引吗? 感谢任何提示。 感谢。

0 个答案:

没有答案