AWS CLI副本“超出最大重试次数...”,错误10054:“远程主机强行关闭连接”

时间:2013-12-12 19:51:16

标签: windows amazon-web-services amazon-s3 aws-cli

synccp会发生这种情况,将大约1000个文件从本地服务器复制到S3存储桶。源是从Windows 8计算机到在Hyper-V中运行的Windows Server 2008 R2 VM的映射网络驱动器。

这是命令:

aws s3 cp X:\folder s3://my-bucket/folder --recursive

它失败的文件似乎没有任何模式。有些较大(最多30MB),有些则只有几kb。这是错误消息:

HTTPSConnectionPool(host='XXX.s3.amazonaws.com', port=443): Max retries exceeded with url: ... (Caused by <class 'socket.error'>: [Errno 10054] An existing connection was forcibly closed by the remote host)

2 个答案:

答案 0 :(得分:1)

我遇到了同样的问题。使用Ubuntu的笔记本,命令aws s3 cpaws s3 sync失败,如上所述。

我的文件大104285字节,所以没有“太大”。

通过BucketExplorer复制文件没有问题。

关于botocore报告的问题,显示大文件的类似问题,但没有针对小文件的报告。

然后我将boto库从2.9.5更新到最新的2.23.0,但问题仍然存在。

后来我正在测试我的问题文件,使其变得越来越小,直到它被发布。最后我发现,即使对于原始文件,问题仍然存在。

很难说,问题是如何解决的。

人们可以想到AWS方面的临时问题,但由于我第一次尝试在BucketExplorer上发布文件,我想情况并非如此。

检查AWS Health仪表板:http://status.aws.amazon.com/我没有发现任何报告的问题,但您可能永远不会依赖找到所有小问题。

无论如何,我建议将boto更新到最新版本,因为它似乎是最可能的原因:

 $ pip install --upgrade boto

在遇到这些问题并且版本为0.31

之前,我的AWS CLI已经过更新

我的最终版本是:

$ pip freeze|grep boto
boto==2.23.0
boto-utils==0.3
botocore==0.31.0

答案 1 :(得分:0)

问题是映射的网络驱动器。从本地磁盘上的文件夹而不是网络位置进行复制时,所有文件都成功上载。