Nutch和Elasticsearch

时间:2016-04-18 20:16:17

标签: elasticsearch nutch

我正在使用Elasticsearch,AngularJS和Nutch构建一个小型搜索应用程序。我几乎完成了ES和AngularJS部分。现在是Nutch和ES部分的时间,使用Nutch抓取并将数据索引到ES中。我一直在使用Nutch 1.10和ES 1.4。我一直在使用Nutch v1.10在我的本地机器上做一些约(约50个站点)的初始小爬行。我现在看到ES达到v2.3或类似的东西,看起来Nutch v1.11 STILL使用的是ES v1.4。

有没有人对Nutch v1.10使用任何大于1.4的ES版本(可能是ES v1.5或v1.7)有任何经验?

如果可能,我想留在Nutch 1.x分店。

1 个答案:

答案 0 :(得分:1)

我还没有使用Nutch和ES 1.5 / 1.6 / 1.7,但indexer-elastic插件使用的API之间不应该有重大变化。我刚刚按照https://github.com/apache/nutch/blob/master/src/plugin/indexer-elastic/howto_upgrade_es.txt中的说明进行操作,并使用ES 1.7.2构建/测试了ant test)Nutch 1.11,没有任何问题。这意味着,代码构建正常,但我没有测试索引实际数据到Elasticsearch中。

您必须构建自己的Nutch发行版,我建议您将elasticsearch客户端版本与ES服务器版本保持同步。