Boto S3 set_contents_from_filename卡在大文件

时间:2016-01-18 12:08:15

标签: python amazon-s3 boto

我遇到一个问题,即在使用boto set_contents_from_filename时,上传到s3的大文件(超过1GB)会卡住。

我尝试使用set_contents_from_file代替,我也得到同样的东西。

我在两个函数上使用cb参数在上传时调用回调函数,这将告诉我上传是如何进行的。我看到一个1GB的文件卡在800MB左右。

编辑:似乎此函数有内存泄漏,如下所述: boto set_contents_from_filename memory leak

1 个答案:

答案 0 :(得分:0)

您似乎正在尝试使用boto,这正在慢慢变得过时。

从长远来看,由于没有真正维护较旧的boto3,因此更改为boto是不可避免的。见boto3 is not a replacement of boto (yet?)

您可以在此处找到上传文件的示例: https://stackoverflow.com/a/29636604/346478