在AWS SageMaker（jupyter笔记本）中从AWS S3打开.Parquet文件

Question

当我尝试使用Jupyter Notebook打开我的AWS S3中的.parquet文件时，它表示Jupyter无法打开它，并给我一个错误。我想知道它是否不兼容或有解决方法？

Answer 1

您能否提供有关此问题的更多信息？您看到什么具体的错误消息？您在笔记本单元中运行的命令是什么？

Answer 2

如果先将它们暂存到本地磁盘该怎么办？ 例如，如果您想使用jupyter（使用pyarrow installed）来做所有事情

1，首先在降价单元格中

! aws s3 cp s3://mybucket/file.parquet /home/ec2-user/SageMaker/

2然后在同一笔记本的python单元中：

import pyarrow.parquet as pq

data = pq.read_table('file.parquet').to_pandas()