我们可以在Hadoop中的MultipleInput类中传递不同类型的输入格式文件吗?

时间:2016-06-24 13:10:27

标签: hadoop mapreduce bigdata

我们可以在Hadoop的TextInputFormat中传递不同类型的输入格式文件,例如SequenceInputFormatMultipleInput吗?

如下所示:

MultipleInputs.addInputPath(jobConf,                      新路径(dictionarySource),                      的 SomeInputFormat 的.class,                      TranslateMapper.class);

MultipleInputs.addInputPath(jobConf,                      新路径(dictionarySource),                      的 SomeOtherInputFormat 的.class,                      TranslateMapper.class);

1 个答案:

答案 0 :(得分:0)

简短回答,是的,that parameterInputFormat

的任何扩展名
Class<? extends InputFormat> inputFormatClass

对于#34的后续行动的更长回答;你如何在Reducer中处理它?&#34; - 减速器输入必须与映射器输出相同,这可以是您想要的任何内容