在ec2上手动配置hadoop

时间:2013-04-10 16:31:14

标签: configuration hadoop amazon-ec2

有人可以指点我的方向,以帮助我手动在EC2上设置/配置Hadoop(1.0.4)。我同意有很多资源可以使用工具,服务等来实现这一目标,但我正在寻找的是帮助确定对手动对conf / * .xml文件进行哪些修改奴隶和主人都是为了让Hadoop工作。

现在,我有5个ec2实例在运行,并且所有这些实例都能够在伪分布式模式下单独运行hadoop作业。因此,我需要通过配置conf文件将其中一个转换为主服务器,将其余部分转换为从服务器,以便从服务器知道namenode和jobtracker的位置,并且主服务器知道所有从服务器。

我的理解是,我还必须配置实例的EC2安全组,以便它们可以在正确的端口上相互通信。我觉得我很好。

任何人都可以帮我解决配置问题,或者指出一些可能有帮助的事情吗?

1 个答案:

答案 0 :(得分:1)

我在这里找到了这个全面的教程,最终让我开始运行:http://cloudblog.8kmiles.com/2011/12/05/hadoop-fully-distributed-setup/