如何确定HDFS中每台计算机的群集大小,节点数,要使用的实例类型以及硬件配置设置?如果可能,请说明如何完成10 TB的数据。 例如如果我们有10 TB的数据,那么在hadoop中可以使用的标准群集大小,节点数和实例类型是什么?
答案 0 :(得分:0)
我已经使用Hadoop几年了。首先,请查看此Hortonworks指南: https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.3/bk_cluster-planning/content/ch_hardware-recommendations_chapter.html
一些个人笔记:
所有这些都可以设置为DataNodes
别忘了使用Ambari服务器,并使其成为VM ...您每天将需要备份和快照
TLDR: https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.3/bk_cluster-planning/content/conclusion.html
5个10TB的HDFS节点