将镶木地板文件读入Jupyter笔记本电脑很麻烦

时间:2019-10-29 06:06:15

标签: python scala jupyter-notebook parquet apache-zeppelin

我从齐柏林飞艇(zeppelin)将一个实木复合地板文件上传到了亚马逊s3中,我想用python将其下载到jupyter笔记本中。

这是我在scala中的上传代码

myFile.write.parquet("s3://company/myFile")

这是我在python中的下载代码

import pandas
import pyarrow.parquet as pq
import s3fs
s3 = s3fs.S3FileSystem()

pandas_dataframe = pq.ParquetDataset('s3://company/myFile', filesystem=s3).read_pandas().to_pandas()
pandas_dataframe.to_csv("myFile.csv")

它给我这个错误

  

ArrowNotImplementedError:从Parquet文件中读取结构列表   尚不支持:key_value:列表不为空>不为空

0 个答案:

没有答案