我正在通过Raspberry Pi练习一个hadoop集群,根据本教程(http://www.widriksson.com/raspberry-pi-hadoop-cluster/),他在他的hadoop主文件配置中设置了node1,这令人困惑,因为他还使用node来启动hadoop守护进程。我想知道他配置的原因
P.S。 - 只需按住ctrl + f大师
答案 0 :(得分:1)
不是不理想。由您决定如何配置群集。在本教程中,作者决定同时使用node1
作为P-NN和S-NN。请记住,RPi Hadoop Cluster仅适用于开发和测试,而不适用于生产环境。
在单独的计算机上运行主NameNode和Secondary NameNode的优点和缺点(基于来自Cloudera的This article):
1.Scalability。创建系统快照所需的内存大小与NameNode本身占用的内存大致相同。由于内存可用 NameNode进程是分布式大小的主要限制 文件系统,大规模集群将需要大部分或全部 NameNode的可用内存。
2.Durability。当SecondaryNameNode创建检查点时,它会在文件系统元数据的单独副本中执行此操作。移动这个 进程到另一台机器也会创建元数据文件的副本 一台独立的机器,增加了它的耐用性。