我对每个实例可以拥有的核心实例和映射器之间的关系感到困惑。这些地图制作者是如何创建的?如果我将核心实例计数设置为0,那么只有主节点正在运行,为什么MapReduce作业可以在没有任何任务节点的情况下运行?
提前致谢。
答案 0 :(得分:1)
核心数意味着在给定群集中的每台机器中实现了多少处理器。而且,每个核心都可以运行映射器。
您不必担心映射器的创建,因为hadoop框架会为您完成。
答案 1 :(得分:0)
这是一个非常好的问题。我的猜测是,发生的事情是EMR足够聪明,可以在没有Core或Task节点的情况下设置主节点来运行MapReduce作业。这是一个猜测。
如果你想知道我是否正确,请启动群集。然后启动MapReduce作业,同时通过jps -lm
密切关注java进程,看看是否有任何映射器进程在主节点上启动。