如何同时在单个节点中运行多个映射器

Question

我在Mac上使用Hadoop 2.8.0。我想同时运行所有的映射器。我尝试通过强制进行多个输入文件拆分并使用多个输入文件，以便创建多个映射器。它们已创建，但它们按顺序运行。我在输出中看到这样的东西：

开始任务**** _ m_0

...............

完成任务**** _ m_0

开始任务**** _ m_1

为什么映射器一个接一个地运行？如何配置以便立即启动？

Answer 1

如果你在本地模式下运行mapreduce（例如，从eclipse），它一次只能运行一个映射器和一个reducer。如果您以分布式（或伪分布式）模式运行它（例如，使用终端的hadoop命令，它可以运行更多的映射器。

确保在配置文件中将映射器的最大数量设置为大于1。

如果你有4个文件，你的Mac至少有4个核心，那么你应该看到至少有4个地图任务同时运行。