如何在Python中将HDF5文件直接上传到S3存储桶

Question

我想将使用h5py创建的HDF5文件上传到S3存储桶，而无需使用boto3在本地保存。

此solution使用pickle.dumps和pickle.loads以及我发现的其他解决方案，将文件存储在本地，这是我希望避免的。

Answer 1

您可以使用put_object和6，如此处tempfile.TemporaryFile所示。希望这可以帮助。即使在这种情况下，也必须将数据“本地”存储（尽管“在内存中”）。您也可以创建一个put_object，然后使用{{3}}上传文件。我认为您不能流到S3存储桶，因为在将本地数据上传到存储桶时，本地数据将被丢弃。