将Python中的大文件复制到S3存储桶时出现OSError

Question

我正在尝试在python中使用shutil.copy将大文件复制到Ubuntu 16.04上已安装的s3存储桶中。对于小于5 GB的文件（奇怪的是不是4 GB），这总是可以正常工作的。对于较大的文件，此操作会因OSError可靠地失败：

  File "/usr/lib/python3.5/shutil.py", line 236, in copy
    copymode(src, dst, follow_symlinks=follow_symlinks)
  File "/usr/lib/python3.5/shutil.py", line 138, in copymode
    chmod_func(dst, stat.S_IMODE(st.st_mode))

看代码，似乎在成功复制文件本身之后尝试复制权限时，这失败了。这是一个已知的问题？有更好的方法吗？

Answer 1

我仍然不知道为什么会失败，但是我发现我使用的是复制功能而不是复制文件。切换到copyfile（）可以解决此问题。