我想从AWS s3存储桶中传输数据文件。我正在按照here描述的设置进行操作,但是使用的是tensorflow2。
该设置指定您可以在~/.aws/credentials
中使用AWS配置文件,但是我也尝试使用环境变量。但是,下面的冒烟测试始终给出以下错误tensorflow.python.framework.errors_impl.UnimplementedError: File system scheme 's3' not implemented
。
from tensorflow.python.lib.io import file_io
print(file_io.stat('s3://bucketname/key/'))
答案 0 :(得分:0)
我回到自己的问题上几次了。通常,遇到这种情况时,您将尝试在Windows上仅在linux上实现的S3上进行通信。
关于训练数据,我的主要建议是不要这样做。 如果可能的话,请尝试下载文件,因为这样做会增加开销。尤其是在使用sagemaker之类的工具时,这些工具具有非常方便的方法,可以在启动时下载数据。
有几次我使用smart_open
,它在Windows和linux上都很好。
from smart_open import open
with open("s3://bucket/key) as f:
...