s3cmd与python中的boto同步

Question

我正在尝试将一些备份脚本从bash迁移到python，以便更好地处理错误。

我一直使用s3cmd同步将目录备份到s3。我希望找到一种类似的简单方法直接在python中执行此操作（可能使用boto），但到目前为止，使用subprocess.call并继续使用s3cmd似乎最简单。

有没有人建议更好的解决方案？

Answer 1

单独使用boto，不是一种非常简单的方法。有几个包围的软件包提供了这个功能，它们似乎都使用相同的方法：将本地文件的MD5哈希值与S3 key's etag 进行比较。

以下是如何计算本地文件的MD5哈希值（注意：将文件的全部内容加载到内存中）：

print hashlib.md5(open(filename, 'rb').read()).hexdigest()

  

7bee81f4be312203c0e29d4dfe65fb0b

对于S3密钥（注意：您不能在本地创建boto.s3.key.Key;而是从存储桶中获取它：

key = bucket.get_key(path)
print key.etag

  

＆＃34; 7bee81f4be312203c0e29d4dfe65fb0b＆＃34;

请注意，由于某种原因，etag被引号字符包围。

要执行同步，只需在执行get / put之前检查MD5和etag是否不同。