Hadoop:输出激励压缩中的控制字符

时间:2017-04-07 19:55:16

标签: hadoop

星期五,我太累了,我遇到了一个非常奇怪的问题。

在我的Reducer中,我有一个Text输出。它包含一个带有自定义分隔符的字符串,可在下一个MapReduce作业中拆分。

以为我很聪明,我使用的分隔符是控制角色,U + 0002。

输出时,文件被压缩。在我分裂之前它没有被压缩。我非常特别需要为了自己的原因避免压缩。我尝试手动关闭压缩,但无济于事。我花了大约一两个小时尝试了我能想到的一切,感到非常沮丧。

1 个答案:

答案 0 :(得分:0)

答案是......不要在输出中使用控制字符。或者至少我能说出答案的答案!我很想知道是否还有其他人遇到同样的问题。