您之前使用elasticsearch索引过nutch抓取结果吗?

时间:2011-05-15 23:58:15

标签: lucene full-text-search web-crawler nutch elasticsearch

有没有人有幸为nutch编写自定义索引器以使用elasticsearch索引抓取结果?或者你知道任何已经存在的东西吗?

4 个答案:

答案 0 :(得分:10)

我写了一个模拟Solr api的ElasticSearch插件。使用此插件和标准Nutch Solr索引器,您可以轻松地将已爬网数据发送到ElasticSearch。插件和如何使用Nutch的示例可以在GitHub上找到:

https://github.com/mattweber/elasticsearch-mocksolrplugin

答案 1 :(得分:3)

我知道Nutch将添加可插拔的后端,很高兴看到它。我需要将elasticsearch与Nutch 1.3集成。代码发布在这里。捎带(src / java / org / apache / nutch / indexer / solr)代码。

https://github.com/ctjmorgan/nutch-elasticsearch-indexer

答案 2 :(得分:2)

还没有这样做,但这绝对可行,但需要搭载SOLR代码(src / java / org / apache / nutch / indexer / solr)并将其改编为ElasticSearch。对Nutch BTW来说是一个很好的贡献

答案 3 :(得分:0)

时间过去了,现在Nucth已经与ElasticSearch很好地集成了。 Here是一个很好的教程。