使用HDF5格式将熊猫数据帧写入S3

Question

如果将S3路径（任何以s3://开头的路径）传递给熊猫的to_csv方法，它将把数据帧直接保存到S3。这不适用于to_hdf。

我是否必须使用boto3将文件保存在S3上，还是可以直接用Pandas完成？

Answer 1

从read_hdf允许指定S3网址，而to_hdf5不允许 的角度来看，熊猫文档在这方面是不对称的。我个人的印象是，这是因为to_hdf5具有append模式（a）和S3 does not support append operations。 因此，要更具体地回答您的问题，是的，一旦创建文件，您就必须使用boto3将文件导出到存储桶。有关某些策略，请参见here。