准确地将每个文件读取到一个映射器

时间:2017-05-03 11:41:23

标签: java hadoop mapreduce

我有一个MapReduce问题,它应该准确地将每个文件读取到一个映射器并生成解决方案。有一种解决方法可以覆盖FileInputFormat的isSplitable()方法。但问题是当我覆盖诸如;

之类的方法时,我的代码会引发错误
public abstract class WholeFileInputFormat extends FileInputFormat<Object, Object> {

    @Override
    protected boolean isSplitable(JobContext context, Path filename) {
        return false;
    }

}

为WholeFileInputFormat引发NoSuchMethodException错误。

我做错了哪一部分或是否有另一种方法来覆盖这种方法?

或者我该怎么做才能为每个映射器正确分配一个文件?

修改

我解决了这个问题!问题是我把这个代码放在我的MapReduce类中,这引起了错误。真正的位置应该是与MapReduce类相同的包内的单独类。

0 个答案:

没有答案