在本地主机上比从EC2实例快下载S3中的文件？

Question

我正在运行一个相当简单的Python脚本，该脚本使用多处理和请求从S3下载文件。当我在本地运行此脚本时，它非常快（2.5分钟内5k图像）。当我在EC2实例上运行相同的完全脚本（g2.2xlarge，因为我需要使用GPU实例）时，它非常慢（大约慢10倍），即使我使用优化的EBS并给它3600 IOP 。在这一点上，我不知道我应该检查什么。任何建议将不胜感激。

通过将urllib2替换为请求来修改脚本：

https://github.com/BVLC/caffe/blob/master/examples/finetune_flickr_style/assemble_data.py

Answer 1

该问题很可能与CDN限制从EC2实例发出的http请求有关。当我切换到使用boto时，速度变得与我在本地做的相当。

希望这可以帮助别人不要像我一样浪费时间！如果有疑问，请使用boto。