Question

我使用的是Hadoop 2.6.4版。我正在编写一个MapReduce作业，该作业需要3个参数，即-Keyword，输入文件和输出文件的路径。我的理想输出应该是包含关键字的所有文件的名称。简单的逻辑将遍历文本中的每一行并与我们的关键字匹配。如果返回true则打印文件名。

经过大量谷歌搜索后，我找到了3个获取文件名的选项

Context.getConfiguration().get("map.input.file")
Context.getConfiguration().get("mapreduce.map.input.file")

两个方法都返回一个值为'null'的字符串，即在我的终端屏幕上打印'null'。

最后我从site.google.com

尝试了这个

public Path filesplit;
filesplit=((FileSplit)context.getInputSplit()).getPath();
System.out.println(filesplit.getName())

上述方法产生了错误。终端输出如下： -

java.lang.Exception: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit
    at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit
    at org.myorg.DistributedGrep$GrepMapper.map(DistributedGrep.java:23)
    at org.myorg.DistributedGrep$GrepMapper.map(DistributedGrep.java:1)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:784)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.LocalJobRunner$Job$MapTaskRunnable.run(LocalJobRunner.java:243)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)

有人可以建议对这些错误采取补救措施吗？可能出了什么问题，我有什么错误吗？
或者您对获取映射器中正在执行的当前行的文件名有任何其他想法。

如果你想全面了解这里的代码，那就是

package org.myorg;

import java.io.*;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapred.FileSplit;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class DistributedGrep {

    public static class GrepMapper extends
            Mapper<Object, Text, NullWritable, Text> {
        public  Path filesplit;

        public void map(Object key, Text value, Context context)
                throws IOException, InterruptedException {
            filesplit = ((FileSplit)context.getInputSplit()).getPath();

            String txt = value.toString();
            String mapRegex = context.getConfiguration().get("mapregex");
//          System.out.println(context.getConfiguration().get("mapreduce.map.input.file");
            System.out.println(filesplit.getName());
            if (txt.matches(mapRegex)) {
                System.out.println("Matched a line");
                context.write(NullWritable.get(), value);
            }
        }
    }

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();

        conf.set("mapregex", args[0]);

        Job job = new Job(conf, "Distributed Grep");
        job.setJarByClass(DistributedGrep.class);
        job.setMapperClass(GrepMapper.class);
        job.setOutputKeyClass(NullWritable.class);
        job.setOutputValueClass(Text.class);
        job.setNumReduceTasks(0); // Set number of reducers to zero
        FileInputFormat.addInputPath(job, new Path(args[1]));
        FileOutputFormat.setOutputPath(job, new Path(args[2]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

Answer 1

选项1＆amp; 2

Context.getConfiguration().get("map.input.file") Context.getConfiguration().get("mapreduce.map.input.file")

我相信这两个都会返回null，因为它们应该与较旧的mapred API及其JobConf配置对象一起使用。您的#3选项是为mapreduce API执行此操作的方法。

使用mapred API，您可以执行以下操作：

public void configure(JobConf job) { inputFile = job.get(JobContext.MAP_INPUT_FILE); }

此处显示：https://hadoop.apache.org/docs/r2.7.2/api/org/apache/hadoop/mapred/Mapper.html

JobContext.MAP_INPUT_FILE常量值曾经是map.input.file，并且在某些时候更改为mapreduce.map.input.file。

https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/DeprecatedProperties.html

选项3

您正在混合使用MapReduce API。有两个mapred和mapreduce API。

您可以在错误中看到这一点：

Caused by: java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.FileSplit

您已导入：

import org.apache.hadoop.mapred.FileSplit

哪个来自mapred API，但您使用的是mapreduce API。将导入更改为：

import org.apache.hadoop.mapreduce.lib.input.FileSplit;

你的代码中的一个线索（除了导入之外）发生这种情况是你需要添加一个强制转换来编译代码：

filesplit = ((FileSplit)context.getInputSplit()).getPath();

这应该是：

filesplit = context.getInputSplit().getPath();

在Mapper

1 个答案: