如何为hadoop设置服务器? (CDH)

时间:2014-06-30 11:46:44

标签: hadoop cloudera

我使用AWS EC2运行3个实例(m1.small - 20GB HDD和1.7 GB RAM)。

在集群上,将有hadoop,mapReduce和几个监控进程。

这是我分裂的方式:

1个主服务器

  • 的NameNode
  • SecondaryNameNode
  • 的JobTracker
  • 活动监控
  • 警报发布者
  • 事件服务器
  • 主机监视器
  • 服务监控

2个从属服务器

  • 的TaskTracker
  • 数据管理部

由于服务器的规范,我认为主服务器运行这8个作业是一种负担。我如何分开它们?我应该让另一台服务器分配监控进程吗?

1 个答案:

答案 0 :(得分:1)

拥有NameNode&同一服务器上的SeondaryNameNode不起任何作用。

1.7 GB的RAM /机器我不认为你可以做多少。您需要更多节点或更高配置。 8GB / Node我觉得应该是最小的。

您也可以为从属节点分配一些服务。