Question

我正在尝试使用Duplicity将大型文件系统（~800 GB）从Ubuntu 16.04备份到Amazon S3。看起来它备份了大部分文件系统，但一直停留在最后。

我现在已经多次运行此命令并且它在同一个地方保持失败/中止（大约8小时进入备份）：

$ duplicity --no-encryption --s3-use-ia --archive-dir /var/abc/tmp --tempdir /var/abc/tmp --exclude /var/abc/tmp /var/abc s3://s3-us-west-2.amazonaws.com/mybucket

Local and Remote metadata are synchronized, no sync needed.
Warning, found incomplete backup sets, probably left from aborted session
Last full backup left a partial set, restarting.
Last full backup date: Tue Jul 25 11:13:45 2017
RESTART: Volumes 32085 to 32085 failed to upload before termination.
         Restarting backup at volume 32085.
Restarting after volume 32084, file backups/resourcespace.20170730.sql.gz, block 399
Attempt 1 failed. error: [Errno 104] Connection reset by peer
Attempt 2 failed. error: [Errno 104] Connection reset by peer
Attempt 3 failed. error: [Errno 104] Connection reset by peer
Attempt 4 failed. error: [Errno 104] Connection reset by peer
Giving up after 5 attempts. error: [Errno 104] Connection reset by peer

在我第一次尝试之后，我尝试将duplicity升级到最新的PPA，现在运行0.7.13.1。再次尝试 - 同样的失败。

接下来我将boto从2.38.0升级到2.48.0（通过PIP），我仍然看到同样的失败。

我发现一些较旧的帖子暗示这种情况曾经发生过，因为亚马逊方面存在某种5GB的限制，但是这些帖子还声称它应该被修复为0.7系列的Duplicity（我正在运行）

非常感谢有关如何进行进一步故障排除的任何建议，谢谢！

Answer 1

想在这里发布一个跟进。我确实设法让这个最终工作，虽然确切的答案有点不清楚。

最初我有一个部分/中止备份，我升级了duplicity然后boto，然后尝试恢复中止备份，看看我是否可以完成它。

在放弃之后，我做了以下事情：

删除原始备份以重新开始使用所有更新的代码。
添加--volize 1024 to Duplicity以减少正在记录的卷数。
添加了--s3-use-multiprocessing试图让事情变得更快。

其中一个或多个步骤解决了Errno 104问题，现在我的备份完成了。当我运行新备份时，我的临时目标看起来有所不同，所以我非常怀疑可能从旧代码恢复旧备份导致了问题。但它可能很容易与volsize相关（它从20MB到1024MB）。

我的签名文件仍然很大，只有7.7GB，但不再导致问题。

现在使用干净的备份，一切似乎都运行良好。

Answer 2

我遇到了同样的问题。事实证明我的AWS访问＆amp;秘密密钥错了。更新它们解决了这个问题。

也许这不是你的情况，但它可以帮助其他人受到影响。

Ubuntu 16.04对Amazon S3的重复备份失败，其中＆＃34; [Errno 104]连接由同行重置＆＃34;

2 个答案: