我们在Amazon EC2群集上运行Hadoop。我们启动master,slave并附加ebs卷,最后等待hadoop jobtracker,tasktracker等启动,我们有超时3600秒。我们注意到50%的时间工作跟踪器无法在超时之前启动。原因是,hdfs未正确初始化并且仍处于安全模式且作业跟踪器无法启动。当我尝试手动ping奴隶时,我注意到EC2上的节点之间几乎没有连接问题。
有没有人面临类似的问题,知道如何解决这个问题?
答案 0 :(得分:0)
我不确定这个问题是否与Amazon EC2有关。 我经常遇到这个问题 - 虽然我的机器上有伪分布式安装。
在这些情况下,我可以手动安全地关闭安全模式
试试这个命令:bin/hadoop dfsadmin -safemode leave
我认为你在这里做错了。这似乎是hadoop的一个错误特征。我用了0.18.3,你用的是什么版本?