Question

我正在使用hadoop 1.1.2，Hbase0.9 Nutch 2.2.1和Solr。当我使用没有hadoop的Nutch时，Everithing工作正常。我可以毫无问题地启动单节点集群，当我尝试使用hadoop在单节点模式下爬行时，我收到此警告

my-fat.jar

然后，在减少工作期间我得到这些错误

17/12/08 14:42:30 WARN snappy.LoadSnappy: Snappy native library not loaded

我正在使用java 6导致java 8我得到相同的错误和其他警告。要执行爬网，请使用此命令

17/12/08 14:42:57 INFO mapred.JobClient:  map 100% reduce 33%
17/12/08 14:42:59 INFO mapred.JobClient:  map 100% reduce 50%
17/12/08 14:43:00 INFO mapred.JobClient:  map 100% reduce 66%
17/12/08 14:43:08 INFO mapred.JobClient: Task Id :       
attempt_201712081441_0002_r_000000_0, Status : FAILED
java.lang.NullPointerException
at org.apache.avro.util.Utf8.<init>(Utf8.java:37)
at  
org.apache.nutch.crawl.GeneratorReducer.setup(GeneratorReducer.java:100)
at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:174)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:650)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:418)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)
at org.apache.hadoop.mapred.Child.main(Child.java:249)

Answer 1

我有三个日志文件

div[id="specific div1"]

是：

DOMDocument

$HADOOP_HOME/logs/userlogs/job_201712081441_0002/attempt_201‌712081441_0002_r_000‌000_0

log.index

其他的是LOG_DIR:$HADOOP_HOME/libexec/../logs/userlogs/job_201712081441_0002/attempt_201712081441_0002_r_000000_0（与shell具有相同的输出）和其他2个清空文件。

Hadoop在reduce步骤java.lang.NullPointerException上崩溃

1 个答案: