Nutch 2.3 + Elasticsearch 2.1.1。无法加载Elasticsearch依赖项

时间:2015-12-26 22:21:07

标签: apache elasticsearch ant ivy nutch

我正在尝试集成Nutch 2.3,以便将数据推送到最新的Elasticsearch 2.1.1。 我开始在以下文件中更新版本和依赖项:

索引弹性/ plugin.xml的

    <plugin id="indexer-elastic" name="ElasticIndexWriter" version="1.0.0"
  provider-name="nutch.apache.org">

  <runtime>
    <library name="indexer-elastic.jar">
      <export name="*" />
    </library>

    <library name="elasticsearch-2.1.1.jar"/>

    <library name="hppc-0.7.1.jar"/>
    <library name="jackson-core-2.6.2.jar"/>
    <library name="jackson-dataformat-cbor-2.6.2.jar"/>
    <library name="jackson-dataformat-smile-2.6.2.jar"/>
    <library name="jackson-dataformat-yaml-2.6.2.jar"/>
    <library name="guava-18.0.jar"/>
    <library name="compress-lzf-1.0.2.jar"/>
    <library name="t-digest-3.0.jar"/>
    <library name="jsr166e-1.1.0.jar"/>
    <library name="commons-cli-1.3.1.jar"/>
    <library name="netty-3.10.5.Final.jar"/>
    <library name="joda-time-2.8.2.jar"/>

    <library name="lucene-analyzers-common-5.3.1.jar"/>
    <library name="lucene-backward-codecs-5.3.1.jar"/>
    <library name="lucene-core-5.3.1.jar"/>
    <library name="lucene-highlighter-5.3.1.jar"/>
    <library name="lucene-join-5.3.1.jar"/>
    <library name="lucene-memory-5.3.1.jar"/>
    <library name="lucene-queries-5.3.1.jar"/>
    <library name="lucene-queryparser-5.3.1.jar"/>
    <library name="lucene-spatial-5.3.1.jar"/>
    <library name="lucene-suggest-5.3.1.jar"/>

    <library name="HdrHistogram-2.1.6.jar"/>
    <library name="joda-convert-1.2.jar"/>
  </runtime>

  <requires>
    <import plugin="nutch-extensionpoints" />
  </requires>

  <extension id="org.apache.nutch.indexer.elastic"
    name="Elasticsearch Index Writer"
    point="org.apache.nutch.indexer.IndexWriter">
    <implementation id="ElasticIndexWriter"
      class="org.apache.nutch.indexwriter.elastic.ElasticIndexWriter" />
  </extension>

</plugin>

索引弹性/的ivy.xml

<ivy-module version="1.0">
  <info organisation="org.apache.nutch" module="${ant.project.name}">
    <license name="Apache 2.0" />
    <ivyauthor name="Apache Nutch Team" url="http://nutch.apache.org" />
    <description>Apache Nutch</description>
  </info>

  <configurations>
    <include file="../../..//ivy/ivy-configurations.xml" />
  </configurations>

  <publications>
    <!--get the artifact from our module name -->
    <artifact conf="master" />
  </publications>

  <dependencies>
    <dependency org="org.elasticsearch" name="elasticsearch"
      rev="2.1.1" conf="*->default" />

    <dependency org="com.google.guava" name="guava" rev="18.0" />
  </dependencies>
</ivy-module>

我还重写了org.apache.nutch.indexwriter.elastic.ElasticIndexWriter,以对照elasticsearch 2.1.1客户端的新接口。

那么问题是什么?

似乎 indexer-elastic / plugin.xml 中列出的依赖项未在运行时自动加载。因此,elasticsearch客户端无法从中受益并抛出异常。 所以我尝试了一种不同的方法,根据它在 $ NUTCH_ROOT / ivy / ivy.xml 中给出的异常逐个添加依赖项,其中列出了Apache Nutch的主要依赖项。这不是正确的方法,但它有点工作。

  1. 如何处理插件依赖项?
  2. 在插件中使用较新版本的库的策略是什么?例如,Nutch使用Guava v11.0.2,但Elasticsearch 2.1.1需要Guava v18.0。虽然我在 indexer-elastic / ivy.xml 中明确指定它,但它似乎在运行时加载旧版本。

1 个答案:

答案 0 :(得分:0)

插件依赖项应该在插件的ivy.xml和plugin.xml文件中声明。我没有测试你包含的文件但是看不到它们的任何错误。正如您所指出的,在主常春藤文件中声明deps并不是很好。

参见this note on how to upgrade the Tika plugin,相同的逻辑适用于所有插件。

至于解决主要依赖项与插件之间的冲突,不幸的是你必须自己处理它,例如:强制你在主ivy.xml中需要的版本,因为Nutch不会将插件作为主代码的依赖关系(在Maven意义上)处理。