我正在研究将apache avro整合到我的项目中的项目 MapR计划。但是,我很困惑 与 mapred 相比,使用新的 mapreduce 套餐。 latter详细说明了如何使用 在不同情况下,新的信息较少。 但我所知道的是它们对应于hadoop的新旧接口。
是否有人使用 mapreduce 接口有任何经验或示例 对于输入为非Avro数据的作业 (例如TextInputFormat)文件 和输出是avro文件。
答案 0 :(得分:2)
这两个包代表相应Hadoop mapred和mapreduce API的输入/输出格式,mapper和reducer基类。
因此,如果您的作业使用旧的(mapred)包API,那么您应该使用相应的mapred avro包类。
Avro有一个使用Avro输出格式的单词计数自适应示例,对于较新的mapreduce API应该很容易修改: