如何在新的Hadoop api

Question

与新的Hadoop api一样，映射器的数量无法显式设置，我想将SplitSize更改为比默认值更小的数字，以便执行更多的映射器。我怎么能在新的Hadoop api中做到这一点？

我尝试了以下内容，但它无法正常工作

 conf.setLong(FileInputFormat.Split_MAXSIZE, 16 * 1024 * 1024)

Answer 1

您必须根据您的要求更改以下参数。

mapreduce.input.fileinputformat.split.minsize

和

mapreduce.input.fileinputformat.split.maxsize

有关详细信息，请查看此link。

Answer 2

是mapreduce.input.fileinputformat.split.minsize。如果它不起作用，请分享您的代码，我会看一下。