如何将s3存储桶中的所有Parquet文件的数据附加到python中的单个数据帧中

时间:2019-09-25 15:57:36

标签: python pandas amazon-s3 parquet s3-bucket

在我的文件夹中,大约有10个具有相同列名的镶木地板文件。 我想将所有10个实木复合地板文件数据附加到一个数据帧中。 我使用了下面的代码,但dataframe仅包含第一个文件数据。

s3 = s3fs.S3FileSystem()
complete_path="s3://s3bucket/folder_path
df=pq.ParquetDataset(complete_path,filesystem=s3).read_pandas().
           to_pandas()

有人可以帮我吗?

0 个答案:

没有答案