Question

我在使映射减少作业来处理cdv文件时遇到一些问题。问题出在地图处理上，但我不确定。我在做..

public void map(Object key, Text value, Context context) throws IOException, InterruptedException {

        final String[] arrayCsv = value.toString().split(DELIMETER);

        LOG.info("This file has " + arrayCsv.length);

        final String victimas = format(arrayCsv[19]);
        final int intValue = NumberUtils.toInt(victimas);

        for (int i = 0; i < arrayCsv.length; i++) {

            String name = getNameById(i);

            if (i > 6 && i < 20 && validBooleanStatus(name)) {

                context.write(new Text(name), new IntWritable(intValue));
            }

        }
    }

但是当我在集群中运行map reduce作业时。好吧，我发现了这个错误。

Error: java.lang.ArrayIndexOutOfBoundsException: 19
at com.master.tarea.Task$MaperSolution.map(Task.java:99)
at com.master.tarea.Task$MaperSolution.map(Task.java:83)
at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

我不知道为什么map reduce无法读取我的csv文件，但似乎该文件不存在。如果您发现代码有问题，请告诉我。非常感谢您能给我的任何帮助！

编辑

这是我的工作代码...

public int run(String[] args) throws Exception {

    System.err.println("ENTRADA ........" + args[0]);
    System.err.println("SALIDA.........." + args[1]);

    if (args.length != 2) {
        System.err.println("AccidentMapReduce required params: {input file} {output dir}");
        System.exit(-1);
    }

    deleteOutputFileIfExists(args);

    final Job job = new Job(getConf());
    job.setJarByClass(Task.class);
    job.setInputFormatClass(TextInputFormat.class);
    job.setOutputFormatClass(TextOutputFormat.class);

    job.setMapperClass(MaperSolution.class);
    job.setReducerClass(ReducerSolution.class);

    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(IntWritable.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(Text.class);

    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    job.waitForCompletion(true);

    return 0;
}

Answer 1

抛出该错误指示已使用非法索引访问了数组。索引为负或大于或等于数组的大小。

Answer 2

您可以在此行进行常量数组访问：

final String victimas = format(arrayCsv[19]);

该消息表明非法索引确实为19。因此，我猜想数组较小。因此，您的csv行似乎太短了。

java.lang.ArrayIndexOutOfBoundsException错误Hadoop MapReduce进程

2 个答案: