我们有以下要求。
我们总共有5台服务器将用于构建Bigdata Hadoop数据仓库系统(我们不会使用像cloudera,hortonworks等任何发行版)。
所有服务器配置均为512GB RAM,30TB存储和16核,Ubuntu Linux 14.04LTS服务器
我们会在所有服务器上安装hadoop。 Server3,4,5将完全用于datanode(从机),而server1将具有Active Namenode和Datanode。 Server2将具有备用Namenode和datanode。
我们希望在配置hadoop时为Namenode配置300GB RAM,为datanode配置212GB RAM。
任何人都可以帮我解决这个问题。 hadoop中的哪个配置文件需要更改。我们需要在hadoop配置文件中配置什么参数。
谢谢和问候, Suresh Pitchaipillai
答案 0 :(得分:0)
您可以从cloudera manager(如果您使用CDH)或Ambari(如果您使用Hortonworks)中设置这些属性。
此外,Namenode不需要300GB,因为namenode只存储metadat。粗略地说,1GB的namenode堆可以存储1milion块的元数据(块大小= 128MB)。 更多详情:https://issues.apache.org/jira/browse/HADOOP-1687