我正在尝试安装apache nutch 2.2.1,并在按照http://www.blogjava.net/paulwong/archive/2013/08/31/403513.html教程对配置文件进行必要的更改后成功构建它。但即使在构建它之后,我也无法抓取任何内容,经过数小时的检查后,我意识到我公司集群上的hbase版本是Hbase- 0.94.2,而apache nutch 2.2.1的安装依赖性是HBase 0.90.4。由于hbase-0.90.4.jar与Hbase- 0.94.2不兼容,当我尝试将url注入nutch时,我收到以下错误。请帮助我改变apache nutch的依赖关系或修复错误。
引起:java.lang.RuntimeException:java.lang.IllegalArgumentException:不是主机:端口对:�-11562 @bt13acl1node26.comp.com�$3�¿½bt13acl1node26.comp.com,60000 ,1401268790838 在org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:127) 在org.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102) 在org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161) ......还有12个
引起:java.lang.IllegalArgumentException:不是主机:端口对:�-11562 @bt13acl1node26.comp.com�$3�¿½bt13acl1node26.comp.com,60000,1401268790838 在org.apache.hadoop.hbase.HServerAddress。(HServerAddress.java:60) at org.apache.hadoop.hbase.MasterAddressTracker.getMasterAddress(MasterAddressTracker.java:63) at org.apache.hadoop.hbase.client.HConnectionManager $ HConnectionImplementation.getMaster(HConnectionManager.java:354) 在org.apache.hadoop.hbase.client.HBaseAdmin。(HBaseAdmin.java:94) 在org.apache.gora.hbase.store.HBaseStore.initialize(HBaseStore.java:109) ......还有14个
答案 0 :(得分:1)
你安装了Apache Nutch 2.2.1,它使用了Apache Gora 0.3,它只支持official docs中所述的旧的Apache HBase 0.90.x。
无论如何,你仍然可以使用Nutch 2.2.x使用以下解决方法:
克隆,配置并构建新的Nutch from the official Git branch 2.x,因为它迁移到与Apache HBase 0.94.x兼容的Gora 0.4。
克隆并构建my version of Apache HBase 0.94.24-hadoop-2.5.0以将其与最新的Apache Hadoop 2.5.0一起使用。
为Apache Gora 0.3项目创建了类似的问题。他们不打算在最近的将来将Apache HBase依赖项升级到新的依赖项。
您还可以阅读compatibility documentation for Apache HBase以了解如何为任何Hadoop版本构建自己的版本。
Apache Nutch已经过测试,适用于以下堆栈: