Hadoop环境已关闭

Question

我是学生，做计算机科学。作为我研究的一部分，我正在研究hadoop环境。在我之前从事这项研究的人已经为9 Datanode配置了一个名称节点和一个逐个节点。我们将网络流量数据存储在蜂巢中，我正在开发蜂巢查询来识别网络攻击。正在为此工作的人已离开我们的地方并在其他地方工作并忙于工作。所以我有几个问题：

1）我如何理解我的环境的HDFS架构，即如何连接机器来构建这个环境。此外，哪些服务器安装在哪台机器上？

2）现在我们在环境中有9个数据节点，我的教授希望减少数据节点。她的目标是在这种环境下用2-3（最小）机器进行研究。

3）了解cloudera和hadoop有什么好的和容易的来源？还有可用于显式启动和停止服务的命令。

4）现在在cloudera管理器中我无法启动Namenode服务器，辅助数据节点和其他一个。我从cloudera按顺序停止所有服务，现在按顺序启动，然后按顺序启动HDFS服务，这样在启动它时，它会为namenode datanode和datanode8提供失败消息。

我尝试了几种方法，但没有运气。请告诉我一些我可以解决问题和良好资源的方法（适合初学者），我可以参考更多内容。

感谢。

Answer 1

有几种资源可以启动。对于Cloudera / CDH的一切，去的地方是Cloudera Documentation。对于Hadoop，要去的地方是Hadoop Documentation。现在，我想，这是一个相当大的咀嚼咬。如果你是Hadoop的新手，最好从一本书开始，一些介绍（我不能推荐一本，因为我还没读过）。

对于您的具体问题，似乎有些服务没有启动。你需要看看服务＆＃39;日志，在各自的节点上。我无法告诉您这些日志的位置，因为它取决于您的分发版本和的配置方式。我怀疑一个重要的服务没有启动（可能是HDFS，看起来像namenode已关闭），这会导致其他所有服务都失败。 Hadoop Wiki有一个troubsleshooting guide，试着按照它来看看它是否对你有帮助。

关于如何调整群集大小的问题，首先启动并运行，然后考虑更改它。请参阅Decommissioning and Recommissioning Hosts。