我正在尝试集成Nutch 2.3,以便将数据推送到最新的Elasticsearch 2.1.1。 我开始在以下文件中更新版本和依赖项:
索引弹性/ plugin.xml的
<plugin id="indexer-elastic" name="ElasticIndexWriter" version="1.0.0"
provider-name="nutch.apache.org">
<runtime>
<library name="indexer-elastic.jar">
<export name="*" />
</library>
<library name="elasticsearch-2.1.1.jar"/>
<library name="hppc-0.7.1.jar"/>
<library name="jackson-core-2.6.2.jar"/>
<library name="jackson-dataformat-cbor-2.6.2.jar"/>
<library name="jackson-dataformat-smile-2.6.2.jar"/>
<library name="jackson-dataformat-yaml-2.6.2.jar"/>
<library name="guava-18.0.jar"/>
<library name="compress-lzf-1.0.2.jar"/>
<library name="t-digest-3.0.jar"/>
<library name="jsr166e-1.1.0.jar"/>
<library name="commons-cli-1.3.1.jar"/>
<library name="netty-3.10.5.Final.jar"/>
<library name="joda-time-2.8.2.jar"/>
<library name="lucene-analyzers-common-5.3.1.jar"/>
<library name="lucene-backward-codecs-5.3.1.jar"/>
<library name="lucene-core-5.3.1.jar"/>
<library name="lucene-highlighter-5.3.1.jar"/>
<library name="lucene-join-5.3.1.jar"/>
<library name="lucene-memory-5.3.1.jar"/>
<library name="lucene-queries-5.3.1.jar"/>
<library name="lucene-queryparser-5.3.1.jar"/>
<library name="lucene-spatial-5.3.1.jar"/>
<library name="lucene-suggest-5.3.1.jar"/>
<library name="HdrHistogram-2.1.6.jar"/>
<library name="joda-convert-1.2.jar"/>
</runtime>
<requires>
<import plugin="nutch-extensionpoints" />
</requires>
<extension id="org.apache.nutch.indexer.elastic"
name="Elasticsearch Index Writer"
point="org.apache.nutch.indexer.IndexWriter">
<implementation id="ElasticIndexWriter"
class="org.apache.nutch.indexwriter.elastic.ElasticIndexWriter" />
</extension>
</plugin>
索引弹性/的ivy.xml
<ivy-module version="1.0">
<info organisation="org.apache.nutch" module="${ant.project.name}">
<license name="Apache 2.0" />
<ivyauthor name="Apache Nutch Team" url="http://nutch.apache.org" />
<description>Apache Nutch</description>
</info>
<configurations>
<include file="../../..//ivy/ivy-configurations.xml" />
</configurations>
<publications>
<!--get the artifact from our module name -->
<artifact conf="master" />
</publications>
<dependencies>
<dependency org="org.elasticsearch" name="elasticsearch"
rev="2.1.1" conf="*->default" />
<dependency org="com.google.guava" name="guava" rev="18.0" />
</dependencies>
</ivy-module>
我还重写了org.apache.nutch.indexwriter.elastic.ElasticIndexWriter,以对照elasticsearch 2.1.1客户端的新接口。
那么问题是什么?
似乎 indexer-elastic / plugin.xml 中列出的依赖项未在运行时自动加载。因此,elasticsearch客户端无法从中受益并抛出异常。 所以我尝试了一种不同的方法,根据它在 $ NUTCH_ROOT / ivy / ivy.xml 中给出的异常逐个添加依赖项,其中列出了Apache Nutch的主要依赖项。这不是正确的方法,但它有点工作。
答案 0 :(得分:0)
插件依赖项应该在插件的ivy.xml和plugin.xml文件中声明。我没有测试你包含的文件但是看不到它们的任何错误。正如您所指出的,在主常春藤文件中声明deps并不是很好。
参见this note on how to upgrade the Tika plugin,相同的逻辑适用于所有插件。
至于解决主要依赖项与插件之间的冲突,不幸的是你必须自己处理它,例如:强制你在主ivy.xml中需要的版本,因为Nutch不会将插件作为主代码的依赖关系(在Maven意义上)处理。