Linux上的亚马逊命令行工具同步非常慢

时间:2016-01-07 08:40:52

标签: python amazon-web-services amazon-s3

我正在尝试使用Amazon命令行工具将存储桶与Centos Server上的文件夹同步。我安装了aws cli,设置了配置,然后运行:

aws s3 sync s3://my.bucket/sounds/ /var/lib/folder/sounds/

问题在于它非常糟糕......非常非常慢的下载,几乎全部失败(可能是1个文件)。它显示:

ReadTimeoutError: HTTPSConnectionPool(host='s3-eu-west-1.amazonaws.com', port=443): Read timed out.
几乎所有的时间。

所以,作为一个控制测试,我在完全相同的机柜内的窗口盒上运行相同的东西。 (哦,顺便说一句,它托管在50MB / s光纤上,所以它的速度非常快)。 它在几秒钟内同步!

我找到s3cmd - 这是更成功的(所有文件实际上已同步)但它在结尾给出了摘要 - 我得到的速率是12KB / s!哎哟!

显然我的机器/ config / python /不确定是什么。

如果我查看亚马逊命令行工具的调试 - 我看到它抱怨一个SSL文件在EOF,然后从那时起它显示:

File "/usr/local/aws/lib/python2.6/site-packages/botocore/vendored/requests/packages/urllib3/response.py", line 267, in read
    raise ReadTimeoutError(self._pool, None, 'Read timed out.')

我正在使用Python 2.6运行Centos 6.5。 (我对Python没有任何线索。)关于可能导致这种情况的任何想法?

编辑: 在猜测可能是Python的问题之后,我安装了3.3并重新安装了awscli,但它完全相同。

aws-cli/1.9.16 Python/3.3.3 Linux/2.6.32-358.6.2.el6.x86_64 botocore/1.3.16

它下载了一个文件,似乎阻止了所有其他文件的下载,因此它们都会超时。

0 个答案:

没有答案