Question

我正在尝试从cassandra读取并使用MultipleOutputs api（Hadoop版本1.0.3）将reducers输出写入多个输出文件。在我的例子中，文件格式是扩展FileOutputFormat的自定义输出格式。我已按照MultipleOutputs api中所示的类似方式配置了我的工作。但是，当我运行该作业时，我只得到一个名为part-r-0000的输出文件，该文件是文本输出格式。如果未设置job.setOutputFormatClass()，则默认情况下会将TextOutputFormat视为格式。此外，它只允许初始化两个格式类中的一个。它完全忽略了我在MulitpleOutputs.addNamedOutput(job, "format1", MyCustomFileFormat1.class, Text.class, Text.class) and MulitpleOutputs.addNamedOutput(job, "format2", MyCustomFileFormat2.class, Text.class, Text.class)中指定的输出格式。是其他人面临类似问题还是我做错了什么？

我还尝试编写一个非常简单的MR程序，它从文本文件中读取并以2种格式写入输出TextOutputFormat和SequenceFileOutputFormat，如MultipleOutputs api所示。但是，那里也没有运气。我只得到文本输出格式的1个输出文件。

有人可以帮我这个吗？

Job job = new Job(getConf(), "cfdefGen");
job.setJarByClass(CfdefGeneration.class);

//read input from cassandra column family
ConfigHelper.setInputColumnFamily(job.getConfiguration(), KEYSPACE, COLUMN_FAMILY);
job.setInputFormatClass(ColumnFamilyInputFormat.class);
job.getConfiguration().set("cassandra.consistencylevel.read", "QUORUM");

//thrift input job configurations
ConfigHelper.setInputRpcPort(job.getConfiguration(), "9160");
ConfigHelper.setInputInitialAddress(job.getConfiguration(), HOST);
ConfigHelper.setInputPartitioner(job.getConfiguration(), "RandomPartitioner");

SlicePredicate predicate = new SlicePredicate().setColumn_names(Arrays.asList(ByteBufferUtil.bytes("classification")));
//ConfigHelper.setRangeBatchSize(job.getConfiguration(), 2048);
ConfigHelper.setInputSlicePredicate(job.getConfiguration(), predicate);

//specification for mapper
job.setMapperClass(MyMapper.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);

//specifications for reducer (writing to files)
job.setReducerClass(ReducerToFileSystem.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
//job.setOutputFormatClass(MyCdbWriter1.class);
job.setNumReduceTasks(1);

//set output path for storing output files
Path filePath = new Path(OUTPUT_DIR);
FileSystem hdfs = FileSystem.get(getConf());
if(hdfs.exists(filePath)){
    hdfs.delete(filePath, true);
}
MyCdbWriter1.setOutputPath(job, new Path(OUTPUT_DIR));

MultipleOutputs.addNamedOutput(job, "cdb1', MyCdbWriter1.class, Text.class, Text.class);
MultipleOutputs.addNamedOutput(job, "cdb2", MyCdbWriter2.class, Text.class, Text.class);

boolean success = job.waitForCompletion(true);
return success ? 0:1;

public static class ReducerToFileSystem extends Reducer<Text, Text, Text, Text>
{
    private MultipleOutputs<Text, Text> mos;

    public void setup(Context context){
        mos = new MultipleOutputs<Text, Text>(context);
    }

    //public void reduce(Text key, Text value, Context context) 
    //throws IOException, InterruptedException (This was the mistake, changed the signature and it worked fine)
    public void reduce(Text key, Iterable<Text> values, Context context)
    throws IOException, InterruptedException
    {
        //context.write(key, value);
        mos.write("cdb1", key, value, OUTPUT_DIR+"/"+"cdb1");
        mos.write("cdb2", key, value, OUTPUT_DIR+"/"+"cdb2");
        context.progress();
    }

    public void cleanup(Context context) throws IOException, InterruptedException {
        mos.close();
    }
}

public class MyCdbWriter1<K, V> extends FileOutputFormat<K, V> 
{
    @Override
    public RecordWriter<K, V> getRecordWriter(TaskAttemptContext job) throws IOException, InterruptedException 
    {
    }

    public static void setOutputPath(Job job, Path outputDir) {
        job.getConfiguration().set("mapred.output.dir", outputDir.toString());
    }

    protected static class CdbDataRecord<K, V> extends RecordWriter<K, V>
    {
        @override
        write()
        close()
    }
}

Answer 1

我在调试后发现我的错误，我的reduce方法从未被调用过。我发现我的函数定义与API的定义不匹配，将其从public void reduce(Text key, Text value, Context context)更改为public void reduce(Text key, Iterable<Text> values, Context context)。我不知道为什么reduce方法没有@Override标签，它会阻止我的错误。

Answer 2

我也遇到了类似的问题 - 我的结果是我在Map过程中过滤了所有记录，因此没有任何内容传递给Reduce。如果在reduce任务中使用未命名的多个输出，则仍会生成_SUCCESS文件和空part-r-00000文件。

当文件格式为自定义格式时，Hadoop MultipleOutputs不会写入多个文件

2 个答案: