如何在Hadoop中更改数据块的大小？

Question

我正在使用新的Hadoop API，因为没有办法明确指定映射器的数量（与旧的API不同），我需要更改数据块的大小，以便我可以控制映射器的数量。如何更改代码中数据拆分的默认大小？

Answer 1

Mapper的数量由（File）Splits确定 分割大小由正在使用的InputFormat确定 mapred.max.split.size参数将允许您定义拆分大小。