Question

大家好我面临一个大问题，使用Nutch 2.2.1和Hbase 0.90.4设置我的第一次爬行似乎nutch是错误的。什么都没有。请帮帮我。

我从apache下载了Nutch 2.2.1和Hbase 0.90.4，并在编译之前对配置文件进行了更改。我将ivy.xml中的gora-core和gora-hbase取消注释到了这个

<dependency org="org.apache.gora" name="gora-hbase" rev="0.2" conf="*->default" />
<dependency org="org.apache.gora" name="gora-core" rev="0.2" conf="*->default"/>

完成我所做的所有事情之后：

bin/nutch inject urls/seed.txt

我得到了异常追踪

InjectorJob: starting at 2014-10-03 12:58:16
InjectorJob: Injecting urlDir: urls/seed.txt
InjectorJob: java.lang.ClassNotFoundException:  org.apache.gora.hbase.store.HBaseStore 
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:190)
at org.apache.nutch.storage.StorageUtils.getDataStoreClass(StorageUtils.java:89)
at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:73)
at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:221)
at org.apache.nutch.crawl.InjectorJob.inject(InjectorJob.java:251)
at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:273)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.nutch.crawl.InjectorJob.main(InjectorJob.java:282)

我将gora-core和gora-hbase的rev版本更改为0.3但是我得到了同样的错误。由于看起来nutch无法找到HBaseStore，我将gora-hbase jar放入CLASSPATH但仍然遇到了同样的错误。

我使用的是ubuntu 12

Answer 1

我尝试使用Hadoop＆amp ;;抓取网站Nutch和我得到了同样的错误。当我检查我的ivy / ivy.xml时，我发现缺少依赖

<dependency org="org.apache.gora" name="gora-hbase" rev="0.2" conf="*->default" />

当我取消注释它时，运行ant clean和ant runtime，bug disapper。我也在使用Ubuntu 12服务器。

Nuch 2.2.1 Hbase 0.90.4 ClassNotFoundException错误

1 个答案: