输入和输出的映射和减少功能的类型 MapReduce使用?两个功能的输入和输出如何连接?
MapReduce中map函数的输入是一个文档
MapReduce中map函数的输出是一个元组(word,1)
的序列MapReduce中reduce函数的输入是一个键和该键的所有值的列表
MapReduce中reduce函数的输出是一系列元组(单词,出现次数)
这是对的吗?连接函数怎么样,是组合器?
答案 0 :(得分:0)
输入和输出通过序列化连接。
默认输入为TextInputFormat
,使用LineRecordReader
,但可以覆盖这两个属性
在下面,一切都只是字节,MapReduce(Text,IntWritable等)中的Writable对象只是byte[]
上的薄层
Reducer输入是映射器的连接输出,按键,是。输出是键值对或元组。但是这两个值都可以是复杂的对象,因此您输出的不仅仅是两个字段。 Combiner只是一种不同类型的Reducer。