多节点hadoop集群安装

Question

很抱歉，如果我的问题看起来很天真。我们计划使用CDH 5.3.0或5.4.0。我们想要实现一个多节点集群。

我在不同博客/资源上看到/读取的示例多节点安装在不同主机上具有主服务器和从服务器。

但是，我们受到主机数量的限制。我们只有2个强大的主机（32个核心400+ GB RAM），所以如果我们决定在一个主机上使用主机而在另一个机器上具有从机，我们最终将只有一个从机。我的问题是：

1. 是否可以在同一主机上拥有主设备和从设备？

2. 我是否可以在一台主机上拥有多个从属节点。

3. 还需要付费才能使用Cloudera Manager，或者它是开源的，就像其他组件一样。

如果你能指出一些能够帮助我理解上述情况的资源，那将会很有帮助。

感谢您的帮助。

此致

V

Answer 1

老问题，但没有错误答案：

1. 是的，可以安装Master＆amp;单个主机上的工作服务。 例如HDFS（NameNode和Datanode）。如果它足够强大，您甚至可以在单个主机上安装包含所有服务的完整cloudera或Hortonworks安装，但我只推荐它用于POC或测试用例。

2. 如果您在没有虚拟化的情况下使用cloudera或hortonworks，则无法运行SAME工作服务的多个实例，例如datanode在同一主机上。 1主机1工作人员实例。其他一切都没有意义。

3. Cloudera是一个包含多个开源项目（Hadoop，Spark ....）和其他封闭源代码的组件，如cloudera manager和其他企业闭源功能。但是，即使是社区许可证的商业用途，您所需要的一切也是免费的。 现在（2017年）：只有cloudera navigator才是社区版的一大特色

Answer 2

1. 是的，您可以在单个节点上配置namenode和datanode。
2. 一台计算机上不能有两个以上的数据节点。
3. Cloudera是开源的hadoop发行版。