我开始学习Hadoop。我有一个hadoop服务器,它连接3个集群节点。如果我运行MapReduce作业,它运行良好。我需要为这些集群设置优先级。
例如
node1,node2,node3是我的群集,它与我的hadoop服务器连接。这里如果我运行MR作业,它将每次分割并分配上述优先级的作业。有可能吗?
因为群集节点具有不同的内存容量。所以我需要设置高内存节点才会先处理Job。
答案 0 :(得分:0)
不可能“减轻”重量'某些服务器基于容量。但是,每个服务器都可以配置一个配置,以匹配它的内存,处理器数量等。
例如,如果一个服务器有16个核心而另一个服务器有8个核心,则可以将第一个服务器配置为同时运行12个任务,第二个服务器仅运行6个。内存具有相同的想法。