Hadoop本地模式：映射器和缩减器的数量

Question

我需要在我的Mac中以Hadoop Local模式对一些Hadoop MR代码进行原型设计，我希望听到一些可能存在的问题。

一个特别的问题是关于映射器和缩减器的数量。基本上两者都是一个？指定多于1会起作用吗？我打算用更小的样本。

Answer 1

您无法在本地模式下指定映射器和缩减器的数量。它始终是单线程的。同时，如果您想要分析您的映射器或减速器性能 - 这将是非常现实的。
当所有守护程序在单个机器上运行时，可以具有许多映射器和缩减器的最近模式是伪分布式模式。
以上两者都不会考虑数据局部性，洗牌性能可能存在的问题。我也不希望您的开发机器具有与生产相同的磁盘子系统。
简而言之 - 如果您在本地模式下具有较低的单一映射器/减速器性能 - 您可以开始修复它。如果它运行良好 - 在规划集群之前尝试使用真正的硬件。