使用python将一个实木复合地板文件分为3个实木复合地板文件

Question

是否有办法（使用Python）将巨大的实木复合地板文件分成较小的文件？保留所有列并划分行？ 谢谢

Answer 1

您可以使用dask来做到这一点。

import dask.dataframe as dd

ddf = dd.read_parquet('my_file.parquet')
ddf.repartition(npartitions=3).to_parquet('my_files/')

修改： 您需要安装fastparquet或pyarrow