hadoop jar MapReduceTryouts-1.jar invertedindex.simple.MyDriver -D mapreduce.job.reduces=10 /user/notprabhu2/Input/potter/ /user/notprabhu2/output
我一直试图通过GenericOptionParser提供的-D选项来设置reducers的数量,但它似乎不起作用,我不明白为什么。
我尝试了-D mapreduce.job.reduces=10
(在-D之后有空格)以及
-Dmapreduce.job.reduces=10
(在-D之后没有空格)但似乎没有任何东西躲闪。
在我的Driver类中,我实现了Tools。
package invertedindex.simple;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
public class MyDriver extends Configured implements Tool {
@Override
public int run(String[] args) throws Exception {
Configuration conf = getConf();
Job job = Job.getInstance(conf);
job.setJarByClass(MyDriver.class);
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(getConf()).delete(outputPath, true);
job.setMapperClass(MyMapper.class);
job.setReducerClass(MyReducer.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
TextInputFormat.addInputPath(job, new Path(args[0]));
TextOutputFormat.setOutputPath(job, outputPath);
job.setNumReduceTasks(3);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
return job.waitForCompletion(true) ? 0 : 1;
}
public static void main(String[] args) throws Exception {
int exitCode = ToolRunner.run(new Configuration(),new MyDriver(), args);
System.exit(exitCode);
}
}
由于我在驱动程序代码中明确地将reducer的数量设置为3,因此我总是最终得到3个reducer。
我在Google Compute Engine上的2节点群集上使用CDH 5.4.7
Hadoop 2.6.0
。
答案 0 :(得分:0)
想出来。原来是如此愚蠢,但仍然发布答案,万一有人也犯了同样的愚蠢错误。
似乎我的驱动程序类中的job.setNumReduceTasks(3);
行优先于命令行中的-D mapreduce.job.reduces=10
。
当我从代码中删除job.setNumReduceTasks(3);
行时,一切正常。
答案 1 :(得分:0)
设置reducer数量的属性 - xml标签中的mapreduce.job.reduces
在mapred-site.xml中设置属性,该属性将由配置中的代码调用:
<property>
<name>mapreduce.job.reduces</name>
<value>5</value>
</property>
重新启动hadoop流程