Question

我正在尝试使用python脚本和python-snappy模块以snappy格式压缩csv文件。到目前为止，这是我的代码：

import snappy
d = snappy.compress("C:\\Users\\my_user\\Desktop\\Test\\Test_file.csv")
with open("compressed_file.snappy", 'w') as snappy_data:
     snappy_data.write(d)
snappy_data.close()

此代码实际上创建了一个snappy文件，但创建的snappy文件只包含一个字符串："C:\Users\my_user\Desktop\Test\Test_file.csv"

所以我有点迷失了我的csv压缩。我使用此命令在Windows cmd上完成了它：

python -m snappy -c Test_file.csv compressed_file.snappy

但我需要将它作为python脚本的一部分来完成，所以使用cmd对我来说并不合适。

非常感谢，阿尔瓦罗

Answer 1

您正在压缩普通字符串，因为compress函数接收原始数据。

有两种压缩snappy数据的方法 - 作为一个块，另一个作为流（或帧）数据

此功能将使用框架方法压缩文件

import snappy

def snappy_compress(path):
        path_to_store = path+'.snappy'

        with open(path, 'rb') as in_file:
          with open(path_to_store, 'w') as out_file:
            snappy.stream_compress(in_file, out_file)
            out_file.close()
            in_file.close()

        return path_to_store

snappy_compress('testfile.csv')

您可以使用以下命令从命令行解压缩：

python -m snappy -d testfile.csv.snappy testfile_decompressed.csv

应该注意的是，python / snappy使用的当前框架与Hadoop使用的框架不兼容

如何使用python脚本snappy压缩文件

1 个答案: