aws multipart上传哈希问题

时间:2016-01-06 12:31:32

标签: amazon-web-services hash

我很难让我的bash脚本运行分段上传到Amazon Glacier。我的脚本使用1Mb(1048576)部件,但是当我尝试增加部件尺寸时,散列不再与aws冰川返回的散列相匹配。我想增加零件尺寸,因为我的一些档案可以达到1Tb。

例如,将零件尺寸增加到8Mb(8388608字节)

$ openssl dgst -sha256 archive_chunk.1

SHA256(archive_chunk.1)= 8ca94b1f246d334e1576d8067b878d61c3a6b494c953518ce25c3f751c4867aa

复制了8388608字节(8.4 MB),0.0122916 s,682 MB / s

(使用split而不是dd会得到相同的结果)

{
    "checksum": "e5483ab34e587c69023490cfabe2b04b232890be72c0af43309fd385779184b3"
}

上传到aws冰川返回

list

当我设置部件的大小时,是否有任何明显的缺少哈希生成,或者我错误地拆分文件?我尝试了一系列尺寸(64Mb = 67108864和256Mb = 268435456)并且都无法匹配aws哈希。

非常感谢任何帮助!

1 个答案:

答案 0 :(得分:0)

您可以使用此工具计算树形哈希:https://github.com/erichmenge/treehash

gem install treehash

然后只是

treehash filename