MapReduce冻结在99%

时间:2013-10-05 23:34:32

标签: hadoop mapreduce

我有一个非常简单的hadoop程序的这个问题,它进入99%的还原阶段,然后冻结。输入是一个非常精简的文件~50行文本,输出应该是Id的非常直接的键值对及其频率。

我已将mapred-site.xml中的mem分配增加到~6Gig。

<property>
    <name>mapred.child.java.opts</name>
    <value>-Xmx6024m</value>
</property>

我试图检查日志文件,但它们都是空的,没有写入任何内容。请说明这可能有什么问题?

1 个答案:

答案 0 :(得分:-1)

好的,所以当我开始使用更新的Job&amp; amp;配置类。直到现在我使用的遗留代码似乎导致了很多错误。所以我想我的建议是使用最新的hadoop库和amp;不是被弃用的。

可悲的是,一些hadoop书籍仍在教授传统课程和API .-- 不要使用它们!