Text Reduce程序中Text数据类型可以接受的最大大小是多少?

时间:2014-09-05 19:30:52

标签: mapreduce hadoop-streaming

为了执行单词Count Map Reduce程序,我们使用Text作为键值对中value参数的数据类型。 Text对象可以接受的最大大小是多少?

1 个答案:

答案 0 :(得分:0)

根据Apache Documentation长度类型为整数。

因此,我怀疑它将是Integer的最大值(大多数情况下它是2 ^ 31 - 1个字符,大约4GB)。

但是,如果您从输入文件中获取“值”,它也会受到mapreduce作业的输入拆分的限制。