我有一个非常简单的hadoop程序的这个问题,它进入99%的还原阶段,然后冻结。输入是一个非常精简的文件~50行文本,输出应该是Id的非常直接的键值对及其频率。
我已将mapred-site.xml中的mem分配增加到~6Gig。
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx6024m</value>
</property>
我试图检查日志文件,但它们都是空的,没有写入任何内容。请说明这可能有什么问题?
答案 0 :(得分:-1)
好的,所以当我开始使用更新的Job&amp; amp;配置类。直到现在我使用的遗留代码似乎导致了很多错误。所以我想我的建议是使用最新的hadoop库和amp;不是被弃用的。
可悲的是,一些hadoop书籍仍在教授传统课程和API .-- 不要使用它们!