Question

我是MapReduce的新手，我正在尝试找到一个问题的解决方案。我正在尝试链接两个地图减少工作。第一个工作正在执行但在第二个工作我得到一个错误如下< / p>

     INFO mapreduce.Job: Task Id : attempt_1445271708293_0055_m_000000_1, Status : FAILED
Error: java.io.IOException: Initialization of all the collectors failed.              Error in last collector was :null
    at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:414)
    at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:698)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:770)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.NullPointerException
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1011)
    at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:402)
    ... 9 more

Answer 1

当map任务的输出类型与reduce任务的输入类型不匹配时，我遇到了同样的错误。

mapper中的最后两个参数应该与reducer中的前两个参数类型相同。

public class ByteCalculationMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

public class ByteCalculationReducer extends Reducer<Text, IntWritable, Text, Text> {

Answer 2

我已将驱动程序类中的Text导入为

import com.sun.jersey.core.impl.provider.entity.XMLJAXBElementProvider.Text

而不是

import org.apache.hadoop.io.Text

因为我得到了错误，一旦我纠正了错误，它就开始正常工作了。

java.io.IOException：所有收集器的初始化失败。最后一个收集器中的错误是：null

2 个答案: