嗨我有一个小疑问,我已经开始使用我的好奇心,但现在我有以下问题 我的情况是这样的 - 我在局域网中连接了10台机器,我需要在一个系统中创建名称节点,在剩余的9台机器中创建数据节点。那么我是否需要在所有10台机器上安装Hadoop?
例如我有(1 ... 10)台机器,其中machine1是Server,而机器(2..9)是slave [Data Nodes],所以我需要在所有10台机器上安装hadoop ?
我已经在商用机器上搜索了很多Hadoop集群网络,但是我得到任何与安装相关的东西[即配置]。其中一些给出了如何在自己的系统上配置和安装Hadoop而不是在集群环境中
任何人都可以帮助我吗?并给我详细的想法或文章建议的链接来做上述过程
谢谢
答案 0 :(得分:2)
是的,您需要在每个节点中安装Hadoop,并且每个节点都应该启动适合其角色的服务。此外,每个节点上的配置文件必须连贯地描述集群的拓扑,包括各种常用资源(例如,namenode)的位置/名称/端口。从头开始手动执行此操作非常容易出错,特别是如果您之前从未这样做过,并且您不确切知道自己要做什么。也可以很好地决定Hadoop(HortonWorks,Cloudera,HDInsight,Intel等)的特定发行版
我建议使用众多部署解决方案之一。我最喜欢的是Puppet,但我确信Chef也会这样做。
另一种(可能更好的?)替代方案是使用Ambari,这是一种Hadoop专用部署和管理解决方案。请参阅Deploying and Managing Hadoop Clusters with AMBARI。
一些Puppet资源可帮助您入门:Using Vagrant, Puppet, Testing & Hadoop
答案 1 :(得分:1)
请在下面的教程中验证
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/
希望有所帮助
答案 2 :(得分:1)