sync
或cp
会发生这种情况,将大约1000个文件从本地服务器复制到S3存储桶。源是从Windows 8计算机到在Hyper-V中运行的Windows Server 2008 R2 VM的映射网络驱动器。
这是命令:
aws s3 cp X:\folder s3://my-bucket/folder --recursive
它失败的文件似乎没有任何模式。有些较大(最多30MB),有些则只有几kb。这是错误消息:
HTTPSConnectionPool(host='XXX.s3.amazonaws.com', port=443): Max retries exceeded with url: ... (Caused by <class 'socket.error'>: [Errno 10054] An existing connection was forcibly closed by the remote host)
答案 0 :(得分:1)
我遇到了同样的问题。使用Ubuntu的笔记本,命令aws s3 cp
或aws s3 sync
失败,如上所述。
我的文件大104285字节,所以没有“太大”。
通过BucketExplorer复制文件没有问题。
关于botocore报告的问题,显示大文件的类似问题,但没有针对小文件的报告。
然后我将boto库从2.9.5更新到最新的2.23.0,但问题仍然存在。
后来我正在测试我的问题文件,使其变得越来越小,直到它被发布。最后我发现,即使对于原始文件,问题仍然存在。
很难说,问题是如何解决的。
人们可以想到AWS方面的临时问题,但由于我第一次尝试在BucketExplorer上发布文件,我想情况并非如此。
检查AWS Health仪表板:http://status.aws.amazon.com/我没有发现任何报告的问题,但您可能永远不会依赖找到所有小问题。
无论如何,我建议将boto更新到最新版本,因为它似乎是最可能的原因:
$ pip install --upgrade boto
在遇到这些问题并且版本为0.31
之前,我的AWS CLI已经过更新我的最终版本是:
$ pip freeze|grep boto
boto==2.23.0
boto-utils==0.3
botocore==0.31.0
答案 1 :(得分:0)
问题是映射的网络驱动器。从本地磁盘上的文件夹而不是网络位置进行复制时,所有文件都成功上载。