如何在没有GUI的情况下调试仅在地图97%处崩溃的地图

时间:2013-09-04 23:06:57

标签: hadoop

我在群集上的四个节点上分布了Map / Reduce作业。我只是确保当前的地图功能正常工作,所以我只用一个mapper来运行这个工作。它从0%到3%到20%等一直到地图97%,在不到一分钟内减少0%,然后卡住。

大概10分钟后,程序失败,原因是地图任务失败超过了允许限制。通常我会在网上浏览ui以获取信息,但这是在没有GUI功能的VM上完成的。我的下一步应该是什么?

修改

而不是调试,它在地图运行的最后(即97%)失败的事实表明某些事情,特别是一个损坏的文件,问题写入HDFS?

1 个答案:

答案 0 :(得分:0)

即使您在VM上运行Hadoop,也可以使用其IP地址从VM外部访问它的GUI。假设VM的地址为192.168.10.10,您可以通过192.168.10.10:50030(作业跟踪器)从外部访问它。

或者,您可以访问通常存储在/var/log/hadoop/userlogs/

的任务日志

我无法评论为什么Map流程停止在97%,问题中没有足够详细信息