Amazon EC2上的Hadoop:作业跟踪器无法正常启动

时间:2010-05-05 06:03:09

标签: amazon-ec2 amazon-web-services cloud hadoop

我们在Amazon EC2群集上运行Hadoop。我们启动master,slave并附加ebs卷,最后等待hadoop jobtracker,tasktracker等启动,我们有超时3600秒。我们注意到50%的时间工作跟踪器无法在超时之前启动。原因是,hdfs未正确初始化并且仍处于安全模式且作业跟踪器无法启动。当我尝试手动ping奴隶时,我注意到EC2上的节点之间几乎没有连接问题。

有没有人面临类似的问题,知道如何解决这个问题?

1 个答案:

答案 0 :(得分:0)

我不确定这个问题是否与Amazon EC2有关。 我经常遇到这个问题 - 虽然我的机器上有伪分布式安装。

在这些情况下,我可以手动安全地关闭安全模式 试试这个命令:bin/hadoop dfsadmin -safemode leave

我认为你在这里做错了。这似乎是hadoop的一个错误特征。我用了0.18.3,你用的是什么版本?