查找哪些数据拆分导致作业在hadoop中失败

Question

我想知道我是否可以获得一些如何调试这种情况的帮助？

基本上，我正在从hdfs读取数据..执行一些基本计算..并将结果写回hdfs ..

但在求职者中......我发现其中一项任务始终处于初始化阶段？

Task                                         Complete           Phase .....     Counter
task_201312040108_0001_m_003006                 0                 Initializing  0

经过几次尝试（3），这项任务失败了......迫使整个工作失败......而其他人则成功了...

如何调试这种情况？

我想知道我是否可以看看这个映射器正在分析哪些数据？哦..这是一个只有地图的任务..

Answer 1

我的所有Java映射器都扩展了一个具有以下代码的基本映射器：

// hook for subclasses
protected void doSetup( Context ctx ) throws IOException, InterruptedException {}

public final void setup( Context ctx )
throws IOException, InterruptedException {
    String strSplitMsg = "Input split: " + ctx.getInputSplit();
    LOG.info( strSplitMsg );
    ctx.setStatus( strSplitMsg );
    doSetup( ctx );
}

这样我就不会被这个问题所困扰。但是，在调用setup（）之前可能会发生冻结;也许您可以查看发生故障的主机上的任务跟踪器日志或任务尝试登录本身。