Question

我正在使用Azure工具AzCopy从表存储中导出数据，修改导出的数据，然后将数据导入另一个表存储表。我正在使用以下命令导出：

AzCopy /Source:https://MYSERVER/MYTABLE/ /SourceKey:SOURCEKEY /Dest:C:\migration /Manifest:MYTABLE

由于您无法为导出添加过滤器，因此我会在导出后过滤数据，并根据需要从JSON中删除数据。然后我使用以下命令将此数据导入另一台服务器：

AzCopy/Source:C:\export /Dest:https://MYOTHERSERVER/MYTABLE /DestType:Table /DestKey:DESTKEY /Manifest:MYTABLE EntityOperation:InsertOrReplace

当我不操作JSON文件时，这些操作可以正常工作。但是，当我这样做时，文件的内容当然会发生变化，清单文件中的校验和也不再匹配。当我去进行导入时，我收到“文件已损坏”的消息。

以下是清单文件的样子：

"Version":2,"PayloadFormat":"Json","Checksum":5500917691400439101,"AccountName":"SERVER","TableName":"MYTABLE","Timestamp":"2017-08-25T14:10:53.7489755Z","SplitSize":0,"TotalDataFiles":1}

如何让AzCopy不验证校验和或替换校验和？

我已尝试使用以下代码重新创建校验和，但是当我使用原始JSON时，它不匹配：

var md5Hash = getFileHash(file);
var checksum = convertHash(md5Hash);

private byte[] getFileHash(string filePath)
{
    using (var md5 = MD5.Create())
    {
        using (var stream = File.OpenRead(filePath))
        {
            return md5.ComputeHash(stream);
        }
    }
}

private string convertHash(byte[] data)
{
    var algorithm = MD5.Create();
    var result = BitConverter.ToUInt64(data,0);
    return result.ToString();
}

返回4500814390503865422。

Answer 1

AzCopy现在不支持在表导入期间跳过校验和验证。顺便说一句，清单文件中记录的校验和实际上是CRC而不是MD5，它是通过聚合所有导出文件的CRC而不是单个清单文件来计算的。

AzCopy忽略或重新创建校验和

1 个答案: