hadoop示例作业因网络错误而失败

时间:2012-06-15 22:34:38

标签: ubuntu hadoop

我正在运行一个包含三个节点的测试集群(一个真实系统,两个虚拟机)。所有三个ubuntu 10.1或更高版本。 Hadoop版本1.0.2和hive 0.8.1

现在,基本的东西工作正常,节点能够相互通信,数据包正在被复制以及所有这些。流程运行良好。

作为一个测试用例,我尝试运行标准的hadoop字数计算示例。那个map / reduce工作失败了 -

Call to <my_NameNode_HostName>127.0.0.1:9000 failed on connection exception:
 java.net.ConnectException: Connection refused

虽然作业仍在继续,但有时它会挂起,有时候,它会在失败之前重复此消息(当然还有堆栈跟踪)几次。令人惊讶的是,在屏幕上或输出目录中都没有产生输出。

这是我运行的命令 -

hadoop jar hadoop*examples*.jar wordcount /text_data /txt_output

hadoop在路径中,jar文件在当前目录中可用,并且3个文本文件已复制到hdfs目录/ text_data

谷歌搜索似乎也找不到有用的东西......在这里寻求帮助......

编辑: 我忘了添加其他工作(例如由配置单元查询触发)运行正常。 SSH是在三个节点之间设置的,并且所有边缘都已经过连接测试,没有密码质询。

1 个答案:

答案 0 :(得分:0)

似乎问题出在NameNode上。你的名字节点了吗?

我将在下面尝试确定问题:

1)在主节点上尝试jps以查看名称节点守护程序是否正在运行 2)验证名称节点hadoop / logs /的日志 3)验证/ etc / hosts / configuration和master文件配置