Question

我是java和mapreduce的新手。我写了mapreduce程序来执行wordcount。我面临以下错误。

Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 0
    at mapreduce.mrunit.Wordcount.main(Wordcount.java:63)

和63行代码是：

FileInputFormat.setInputPaths(job, new Path(args[0]));

以下是我写的代码：

package mapreduce.mrunit;
import java.util.StringTokenizer;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class Wordcount {
    public static class Map extends
            Mapper<LongWritable, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            StringTokenizer tokenizer = new StringTokenizer(line);
            while (tokenizer.hasMoreTokens()) {
                word.set(tokenizer.nextToken());
                context.write(word, one);
            }
        }
    }
    public static class Reduce extends
            Reducer<Text, IntWritable, Text, IntWritable> {
        public void reduce(Text key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();

        @SuppressWarnings("deprecation")
        Job job = new Job(conf, "wordcount");

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        job.setMapperClass(Map.class);
        job.setReducerClass(Reduce.class);

        // job.setInputFormatClass(TextInputFormat.class);
        // job.setOutputFormatClass(TextOutputFormat.class);

        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        job.waitForCompletion(true);
    }
}

我无法修复错误。请帮我解决这个错误。

Answer 1

你是怎么跑的？该错误表明您在运行作业时未放入参数。您必须在如下所示的参数中插入输入和输出路径：

hadoop jar MyProgram.jar /path/to/input /path/to/output

Answer 2

错误位于main()方法的以下行：

FileInputFormat.setInputPaths(job, new Path(args[0]));

从Javadoc开始，

时抛出此异常

抛出表示已使用非法访问数组指数。该指数为负数或大于或等于数组的大小。

这意味着，args方法的数组main()参数的长度缺少元素。

根据你的程序，你期望它有2个元素

第一个元素args[0]是输入路径。

第二个元素args[1]是输出路径。

请创建一个输入目录并将文本文件放在一些行中。请注意，不应创建输出目录（您可以创建最新的父目录）。 MapReduce会自动创建它。

所以，假设你的路径是

inputPath = /user/cloudera/wordcount/input
outputPath = /user/cloudera/wordcount

然后执行类似

的程序

hadoop jar wordcount.jar mapreduce.mrunit.Wordcount /user/cloudera/wordcount/input /user/cloudera/wordcount/output

请注意，我在程序的第二个参数中添加了output文件夹，以遵守输出路径不存在的限制，它将由程序在运行时创建。

最后，我建议您遵循this tutorial，它有逐步执行WordCount程序的指示。

执行mapreduce程序时出错

2 个答案: