S3CMD超时

时间:2013-05-20 15:48:29

标签: linux amazon-s3 centos amazon s3cmd

我正在尝试创建一个好的脚本来将我的文件备份到Amazon S3存储服务中。 考虑到这一点,我正在使用s3cmd工具,这似乎非常有用。 但有一件事让我很难受。 有时,当我上传文件时,它会给出以下消息错误:

s3cmd sync --skip-existing -r --check-md5 -p -H --progress ./files/ s3://company-backup/files/
./files/random-file.1 -> s3://company-backup//files/random-file.1  [1 of 11]
  3358720 of 14552064    23% in   10s   299.86 kB/s  failed
WARNING: Upload failed: ./files/random-file.1 (timed out)
WARNING: Retrying on lower speed (throttle=0.00)
WARNING: Waiting 3 sec...

所以在网上看到我发现了this post,它基本上是为了增加配置文件中的socket_timeout,但我怎么能找到最好的timeout到许多不同的大小的文件? 我的意思是,有时我需要发送100MB和其他时间10GB。最糟糕的是,当timeout关闭连接时,它会尝试再次发送文件,但它不会从停止它的地方开始,但是,重新开始,我真的需要避免。 这里有两个问题:

1-如何知道最佳socket_timeout

2-如何让我的上传停止在哪里? (在超时的情况下)

1 个答案:

答案 0 :(得分:1)

回答问题的第2部分。新版本的s3cmd支持获取和放置--continue parameter