Hadoop Failed / Hung作业的调试过程

时间:2016-01-16 17:01:21

标签: hadoop bigdata

我正在学习Hadoop管理但我不知道如果我的工作花费的时间超过其平均水平,或者如果我的工作失败,那么在哪里开始调试,我不知道如何开始调试。

我通常从资源管理器UI中的日志开始,但我想知道是否还有其他进程要作为Hadoop管理员进行调试。我正在寻找一种通用的方法来使用Hortonworks Ambari Web UI来调试Hadoop作业。

1 个答案:

答案 0 :(得分:0)

日志帮助以防止您以失败的作业结束。我假设你的工作成功但很慢。

开始调试慢速运行作业的最佳位置是查看作业计数器(一旦进入作业的MR App主页,您可以在左侧面板上找到计数器链接)。有关每个计数器的含义的详细信息,请查看 Hadoop权威指南第8章