我在群集上的四个节点上分布了Map / Reduce作业。我只是确保当前的地图功能正常工作,所以我只用一个mapper来运行这个工作。它从0%到3%到20%等一直到地图97%,在不到一分钟内减少0%,然后卡住。
大概10分钟后,程序失败,原因是地图任务失败超过了允许限制。通常我会在网上浏览ui以获取信息,但这是在没有GUI功能的VM上完成的。我的下一步应该是什么?
修改的
而不是调试,它在地图运行的最后(即97%)失败的事实表明某些事情,特别是一个损坏的文件,问题写入HDFS?
答案 0 :(得分:0)
即使您在VM上运行Hadoop,也可以使用其IP地址从VM外部访问它的GUI。假设VM的地址为192.168.10.10
,您可以通过192.168.10.10:50030
(作业跟踪器)从外部访问它。
或者,您可以访问通常存储在/var/log/hadoop/userlogs/
我无法评论为什么Map流程停止在97%,问题中没有足够详细信息