Tensorflow从AWS s3存储桶读取数据

时间:2020-01-19 07:45:42

标签: python tensorflow amazon-s3

我想从AWS s3存储桶中传输数据文件。我正在按照here描述的设置进行操作,但是使用的是tensorflow2。

该设置指定您可以在~/.aws/credentials中使用AWS配置文件,但是我也尝试使用环境变量。但是,下面的冒烟测试始终给出以下错误tensorflow.python.framework.errors_impl.UnimplementedError: File system scheme 's3' not implemented

from tensorflow.python.lib.io import file_io
print(file_io.stat('s3://bucketname/key/'))

1 个答案:

答案 0 :(得分:0)

我回到自己的问题上几次了。通常,遇到这种情况时,您将尝试在Windows上仅在linux上实现的S3上进行通信。

关于训练数据,我的主要建议是不要这样做。 如果可能的话,请尝试下载文件,因为这样做会增加开销。尤其是在使用sagemaker之类的工具时,这些工具具有非常方便的方法,可以在启动时下载数据。

有几次我使用smart_open,它在Windows和linux上都很好。

from smart_open import open
with open("s3://bucket/key) as f:
   ...