如何在Python中读取压缩的实木复合地板文件

时间:2020-08-12 07:45:41

标签: python hadoop gzip parquet

我需要打开一个压缩文件,里面有一个镶木地板文件,里面有一些数据。我在尝试打印/读取文件中的内容时遇到了很多麻烦。我尝试了以下方法:

with gzip.open("myFile.parquet.gzip", "rb") as f:
    data = f.read()

这似乎不起作用,因为出现错误,我的文件ID不是gz文件。谢谢!

1 个答案:

答案 0 :(得分:1)

您可以从read_parquet模块使用pandas功能:

  1. 安装pandaspyarrow
pip install pandas pyarrow
  1. 使用read_parquet返回DataFrame
data = read_parquet("myFile.parquet.gzip")
print(data.count()) # example of operation on the returned DataFrame