如何使用python 2.7或更低版​​本读取和写入镶木地板文件

Question

我想阅读->更新->使用python 2.7或更低版​​本编写镶木地板文件。面临与包装有关的问题。请让我知道正确的方法。

Answer 1

您可以使用pyarrow来通过Python 2.7读取Parquet文件，请参见https://arrow.apache.org/docs/python/parquet.html。请注意，没有适用于Windows的Python 2.7轮子。您需要在那里使用conda或切换到Linux / OSX。

读取Parquet文件：

import pyarrow.parquet as pq
table = pq.read_table("file.parquet")
# Optionally convert to Pandas DataFrame
df = table.to_pandas()

写入Parquet文件：

import pyarrow as pa
import pyarrow.parquet as pq

# If your input data is a Pandas DataFrame, we need to convert it to an Arrow table first.
table = pa.Table.from_pandas(df)
pq.write_table(table, "filename.parquet")