我正在运行一个包含三个节点的测试集群(一个真实系统,两个虚拟机)。所有三个ubuntu 10.1或更高版本。 Hadoop版本1.0.2和hive 0.8.1
现在,基本的东西工作正常,节点能够相互通信,数据包正在被复制以及所有这些。流程运行良好。
作为一个测试用例,我尝试运行标准的hadoop字数计算示例。那个map / reduce工作失败了 -
Call to <my_NameNode_HostName>127.0.0.1:9000 failed on connection exception:
java.net.ConnectException: Connection refused
虽然作业仍在继续,但有时它会挂起,有时候,它会在失败之前重复此消息(当然还有堆栈跟踪)几次。令人惊讶的是,在屏幕上或输出目录中都没有产生输出。
这是我运行的命令 -
hadoop jar hadoop*examples*.jar wordcount /text_data /txt_output
hadoop在路径中,jar文件在当前目录中可用,并且3个文本文件已复制到hdfs目录/ text_data
谷歌搜索似乎也找不到有用的东西......在这里寻求帮助......
编辑: 我忘了添加其他工作(例如由配置单元查询触发)运行正常。 SSH是在三个节点之间设置的,并且所有边缘都已经过连接测试,没有密码质询。
答案 0 :(得分:0)
似乎问题出在NameNode上。你的名字节点了吗?
我将在下面尝试确定问题:
1)在主节点上尝试jps以查看名称节点守护程序是否正在运行 2)验证名称节点hadoop / logs /的日志 3)验证/ etc / hosts / configuration和master文件配置