如何用snappy解压缩hadoop减少输出文件?

时间:2013-11-06 05:59:42

标签: hadoop snappy

我们的hadoop集群使用snappy作为默认编解码器。 Hadoop作业减少输出文件名称就像part-r-00000.snappy。 JSnappy无法解压缩文件bcz JSnappy要求文件以SNZ开头。减少输出文件以某种方式以某些字节0开始。

我怎么能解压缩文件?

1 个答案:

答案 0 :(得分:18)

使用“Hadoop fs -text”读取此文件并将其传输到txt文件。 例如:

hadoop fs -text part-r-00001.snappy> /tmp/mydatafile.txt