如何在Pandas中读取lz4压缩文件？

Question

我有stackunderflow.csv.lz4这样的文件，我想在Pandas加载它进行处理。

我尝试了天真pd.read_csv()但没有成功。伟大的Pandas可以处理这些类型的压缩文件吗？

谢谢！

Answer 1

每this StackOverFlow Answer，您可以使用第三方库以块的形式读取数据，然后将其加载到您的Pandas数据帧中

import lz4.frame chunk_size = 128 * 1024 * 1024 with lz4.frame.open('mybigfile.lz4', 'r') as file: chunk = file.read(size=chunk_size)