Hbase 0.94.2和apache nutch依赖之间的兼容性问题

时间:2014-06-02 09:13:56

标签: apache hadoop hbase nutch

我正在尝试安装apache nutch 2.2.1,并在按照http://www.blogjava.net/paulwong/archive/2013/08/31/403513.html教程对配置文件进行必要的更改后成功构建它。但即使在构建它之后,我也无法抓取任何内容,经过数小时的检查后,我意识到我公司集群上的hbase版本是Hbase- 0.94.2,而apache nutch 2.2.1的安装依赖性是HBase 0.90.4。由于hbase-0.90.4.jar与Hbase- 0.94.2不兼容,当我尝试将url注入nutch时,我收到以下错误。请帮助我改变apache nutch的依赖关系或修复错误。

我发布了以下错误。

引起:java.lang.RuntimeException:java.lang.IllegalArgumentException:不是主机:端口对:�-11562 @bt13acl1node26.comp.com�$3�¿½bt13acl1node26.comp.com,60000 ,1401268790838         在org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:127)         在org.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102)         在org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161)         ......还有12个

引起:java.lang.IllegalArgumentException:不是主机:端口对:�-11562 @bt13acl1node26.comp.com�$3�¿½bt13acl1node26.comp.com,60000,1401268790838         在org.apache.hadoop.hbase.HServerAddress。(HServerAddress.java:60)         at org.apache.hadoop.hbase.MasterAddressTracker.getMasterAddress(MasterAddressTracker.java:63)         at org.apache.hadoop.hbase.client.HConnectionManager $ HConnectionImplementation.getMaster(HConnectionManager.java:354)         在org.apache.hadoop.hbase.client.HBaseAdmin。(HBaseAdmin.java:94)         在org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:109)         ......还有14个

1 个答案:

答案 0 :(得分:1)

你安装了Apache Nutch 2.2.1,它使用了Apache Gora 0.3,它只支持official docs中所述的旧的Apache HBase 0.90.x。

无论如何,你仍然可以使用Nutch 2.2.x使用以下解决方法:

  1. 克隆,配置并构建新的Nutch from the official Git branch 2.x,因为它迁移到与Apache HBase 0.94.x兼容的Gora 0.4。

  2. 克隆并构建my version of Apache HBase 0.94.24-hadoop-2.5.0以将其与最新的Apache Hadoop 2.5.0一起使用。

  3. Apache Gora 0.3项目创建了类似的问题。他们不打算在最近的将来将Apache HBase依赖项升级到新的依赖项。

    您还可以阅读compatibility documentation for Apache HBase以了解如何为任何Hadoop版本构建自己的版本。

    Apache Nutch已经过测试,适用于以下堆栈:

    • Apache Nutch来自2.x git branch,它使用Gora 0.4;
    • Apache Hbase 0.94.24-hadoop-2.5.0;
    • Apache Hadoop 2.5.0。