使用S3在Tensorflow中使用Dataset API读取数据

时间:2018-07-31 02:59:06

标签: tensorflow amazon-s3 aws-sdk-cpp

我正在尝试使用数据集api从s3中读取训练数据。我正在关注tensorflow docs,并且能够使用tensorflow在s3文件上运行stat。

from tensorflow.python.lib.io import file_io
print file_io.stat('s3://bucketname/path/')

但是,当我尝试使用数据集api读取文件时,遇到了以下问题-

Encountered Unknown AWSError
InvalidRange
The requested range is not satisfiable:
2018-07-31 02:45:27.522884: W tensorflow/core/platform/s3/aws_logging.cc:57] If the signature check failed. This could be because of a time skew. Attempting to adjust the signer.

从该错误来看,它看起来像是时间偏差问题。但是我能够使用s3cmd命令行读取/列出文件。另外,如果存在时间偏斜问题,file_io.stat也不应该失败吗?

0 个答案:

没有答案