Map-reduce概念

时间:2018-03-30 11:41:40

标签: hadoop mapreduce

输入和输出的映射和减少功能的类型 MapReduce使用?两个功能的输入和输出如何连接?

MapReduce中map函数的输入是一个文档

MapReduce中map函数的输出是一个元组(word,1)

的序列

MapReduce中reduce函数的输入是一个键和该键的所有值的列表

MapReduce中reduce函数的输出是一系列元组(单词,出现次数)

这是对的吗?连接函数怎么样,是组合器?

1 个答案:

答案 0 :(得分:0)

输入和输出通过序列化连接。

默认输入为TextInputFormat,使用LineRecordReader,但可以覆盖这两个属性

在下面,一切都只是字节,MapReduce(Text,IntWritable等)中的Writable对象只是byte[]上的薄层

Reducer输入是映射器的连接输出,按键,是。输出是键值对或元组。但是这两个值都可以是复杂的对象,因此您输出的不仅仅是两个字段。 Combiner只是一种不同类型的Reducer。