我被困在有人帮助hadoop集群吗?
我在AWS上运行一个小型集群(1个主服务器,1个辅助服务器和3个从服务器)。 start-dfs结果一切开始除了Slave3上的名称节点(1和2按预期开始......)。 在对日志进行故障排除时,我注意到Slave3和Master上没有异常/错误/警告。
有什么想法吗?
请注意。主人身上有一条奇怪的信息,但不知道是否相关(并且不确定为什么与奴隶3有关,而不是2或1 ......)。无论如何,这是日志 来自大师
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem:只配置了一个图像存储目录(dfs.namenode.name.dir)。请注意由于缺少冗余存储目录而导致的数据丢失!
WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem:只有一个命名空间编辑了配置的存储目录(dfs.namenode.edits.dir)。请注意由于缺少冗余存储目录而导致的数据丢失!
欢迎您的评论!
答案 0 :(得分:0)
因为我在这里修复了它是如何做到的。只需键入以下内容,然后键入启动并运行的数据节点(用您自己的替换hadoop_install)
$ HADOOP_INSTALL / bin / hdfs dfsadmin -refreshNodes