如何调试挂起的hadoop map-reduce作业

Question

我运行MR Job，Map Phase运行成功，但Reduce Phase符合33％并挂起（挂起约1小时）状态：“reduce＆gt; sort” 我怎么调试它？

Answer 1

这可能与您的情况无关，但是当IPTABLES（〜防火墙）在一个节点上配置错误时，我就会发生这种情况。当该节点被分配了reducer角色时，reduce阶段将挂起33％。检查错误日志以确保连接正常，特别是如果您最近添加了新节点和/或手动配置它们。