什么是apache avro中mapred和mapreduce包之间的区别?

时间:2013-09-29 16:18:10

标签: java hadoop mapreduce avro

我正在研究将apache avro整合到我的项目中的项目 MapR计划。但是,我很困惑 与 mapred 相比,使用新的 mapreduce 套餐。 latter详细说明了如何使用 在不同情况下,新的信息较少。 但我所知道的是它们对应于hadoop的新旧接口。

是否有人使用 mapreduce 接口有任何经验或示例 对于输入为非Avro数据的作业 (例如TextInputFormat)文件 和输出是avro文件。

1 个答案:

答案 0 :(得分:2)

这两个包代表相应Hadoop mapred和mapreduce API的输入/输出格式,mapper和reducer基类。

因此,如果您的作业使用旧的(mapred)包API,那么您应该使用相应的mapred avro包类。

Avro有一个使用Avro输出格式的单词计数自适应示例,对于较新的mapreduce API应该很容易修改:

http://svn.apache.org/viewvc/avro/trunk/doc/examples/mr-example/src/main/java/example/AvroWordCount.java?view=markup

以下是修改的要点:https://gist.github.com/chriswhite199/6755242