如何设置hadoop集群优先级?

时间:2014-03-25 05:26:54

标签: hadoop configuration

我开始学习Hadoop。我有一个hadoop服务器,它连接3个集群节点。如果我运行MapReduce作业,它运行良好。我需要为这些集群设置优先级。

例如

node1,node2,node3是我的群集,它与我的hadoop服务器连接。这里如果我运行MR作业,它将每次分割并分配上述优先级的作业。有可能吗?

因为群集节点具有不同的内存容量。所以我需要设置高内存节点才会先处理Job。

1 个答案:

答案 0 :(得分:0)

不可能“减轻”重量'某些服务器基于容量。但是,每个服务器都可以配置一个配置,以匹配它的内存,处理器数量等。

例如,如果一个服务器有16个核心而另一个服务器有8个核心,则可以将第一个服务器配置为同时运行12个任务,第二个服务器仅运行6个。内存具有相同的想法。