是否建议在群集的所有计算机上使用相同的资源(CPU和RAM)?
答案 0 :(得分:0)
群集的基础结构配置将由您构建群集的业务案例决定,而业务案例又会转换为群集需要满足的数据处理要求才能实现业务成果。一般而言,hadoop系统最初的设计理念是在集群中存在具有异构配置的机器。 (现在服务器供应商拥有针对hadoop工作负载进行优化的机器,主机和从机之间的磁盘大小调整可能存在差异。)
为了具体解决你的问题,我在一些网站群集中看到了多达50个节点,这些节点具有与主服务器和从服务器完全相同的配置(我认为这有点过度杀戮)。安静的建筑设计决策通常并不总是决定采购决策。
来自3个主要Hadoop分发提供商的以下链接将是了解集群设计和应用特定于站点的参数(即数据处理需求,数据增长,数据保留,复制等)的更好的起点:
Hortonworks:
https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.5/bk_cluster-planning/bk_cluster-planning.pdf
Cloudera的:
https://blog.cloudera.com/blog/2013/08/how-to-select-the-right-hardware-for-your-new-hadoop-cluster/
MAPR: