Hadoop任务没有完成 - 如何调试？

Question

我有一个3节点的Hadoop集群。我运行mapreduce作业 - 两个节点（名称节点和一个数据节点）上的映射器正常完成 - 但是datanode2上的映射器启动但是在大约半小时后超时。由于这些事实，这很奇怪：

1. 其他两个节点上的相同类型的映射器需要1到2分钟才能完成
2. 所有三个节点都使用相同的硬件
3. datanode2上的映射器在CPU上接近100％，因此它们实际上正在运行。

知道是什么导致了这个或如何调试它？

Answer 1

根据Hadoop架构，您可以检查DN-2的DataNode日志，以及DN-2的CPU利用率是否为100％，而不是确定您的程序在DN-2中不起作用。