我们的hadoop集群使用snappy作为默认编解码器。 Hadoop作业减少输出文件名称就像part-r-00000.snappy
。 JSnappy无法解压缩文件bcz JSnappy要求文件以SNZ开头。减少输出文件以某种方式以某些字节0开始。
我怎么能解压缩文件?
答案 0 :(得分:18)
使用“Hadoop fs -text”读取此文件并将其传输到txt文件。 例如:
hadoop fs -text part-r-00001.snappy> /tmp/mydatafile.txt