如何使用boto或boto-rsync将1000多个文件的完整备份添加到S3兼容的云中？

Question

我正在尝试将我的整个1000多个工作文件集合（主要是文本和图片，以及一些大型（0.5-1G）音频记录）备份到S3云（Dreamhost DreamObjects）。我试图使用boto-rsync来执行第一次完整的'put'：

 $ boto-rsync --endpoint objects.dreamhost.com /media/Storage/Work/ \ 
 > s3:/work.personalsite.net/ > output.txt

其中'/ media / Storage / Work /'在本地硬盘上，'s3：/work.personalsite.net/'是一个以我的个人网站命名的存储桶，用于唯一性，而output.txt就是我的地方想要上传的文件列表和错误消息。

Boto-rsync通过整个mudree研究它的方式，但是当文件打印时，关于每个文件的进度的刷新输出看起来不那么好。仍然在上传时，我'尾输出.txt'，我看到大多数文件都上传了，但有些文件只上传到不到100％，有些文件被完全跳过。我的问题是：

• 有没有办法确认转让100％完整且正确？
• 是否有一种记录转移结果和错误的好方法？
• 首次将大目录层次结构中的大量文件转移到一个或多个存储桶是否有好方法，而不是增量备份？

我正在使用运行Python 2.7.3的Ubuntu 12.04。谢谢你的帮助。

Answer 1

您可以encapsulate脚本中的命令，然后从nohup开始：

  

nohup script.sh

nohup生成自动nohup.out文件，其中捕获脚本/命令的所有输出。

指定您可以执行的日志：

  

nohup script.sh＆gt; /路径/到/日志

BR

EDDI