我有一个2节点的hadoop集群,我怀疑我遇到了僵局。
我有办法调试这个并确定根本原因吗?在Hadoop世界中甚至可能出现死锁吗?
Hadoop的版本是:2.2.0-gphd-3.0.1.0
编辑: 我没有得到任何错误,工作只是悬挂而没有完成。我在日志中看到了这一点(一遍又一遍地重复):
2015-03-16 17:00:25,519 INFO [18043上的IPC服务器处理程序0] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:00:28,522 INFO [18043上的IPC服务器处理程序1] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:00:31,525 INFO [18043上的IPC服务器处理程序2] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:00:34,528 INFO [18043上的IPC服务器处理程序3] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:00:37,530 INFO [18043上的IPC服务器处理程序4] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:00:40,533 INFO [18043上的IPC服务器处理程序5] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:00:43,436 INFO [18043上的IPC服务器处理程序6] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:00:46,538 INFO [18043上的IPC服务器处理程序7] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:00:49,541 INFO [18043上的IPC服务器处理程序8] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:00:52,600 INFO [18024上的IPC服务器处理程序9] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的状态更新 2015-03-16 17:00:52,601 INFO [18043上的IPC服务器处理程序9] org.apache.hadoop.mapred.TaskAttemptListenerImpl:TaskAttempt的进度尝试_1423108525336_2110_m_000000_0是:1.0 2015-03-16 17:00:54,607 INFO [18043上的IPC服务器处理程序10] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:00:58,609 INFO [18043上的IPC服务器处理程序11] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:01:01,612 INFO [18043上的IPC服务器处理程序12] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:01:04,614 INFO [18043上的IPC服务器处理程序13] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:01:07,617 INFO [18043上的IPC服务器处理程序14] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:01:10,620 INFO [18043上的IPC服务器处理程序15] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:01:13,622 INFO [18043上的IPC服务器处理程序16] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:01:16,625 INFO [18043上的IPC服务器处理程序17] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:01:19,628 INFO [18043上的IPC服务器处理程序18] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的Ping 2015-03-16 17:01:22,684 INFO [18024上的IPC服务器处理程序19] org.apache.hadoop.mapred.TaskAttemptListenerImpl:来自attempt_1423108525336_2110_m_000000_0的状态更新 2015-03-16 17:01:22,684 INFO [18024上的IPC服务器处理程序19] org.apache.hadoop.mapred.TaskAttemptListenerImpl:TaskAttempt的进度尝试_1423108525336_2110_m_000000_0是:1.0