Question

使用以下程序，我正在尝试计算64bit CRC as per the ECMA-128 standard。

测试数据为“123456789”，我试图匹配提供here的相同数据，这表明CRC-64 / ECMA-182的结果应为62ec59e3f1a4f00a。不幸的是我得到9d13a61c0e5b0ff5这是CRC-64 / WE的结果。

我从提供的示例代码here开始。我使用ECMA-128 64位crc的正常多项式表示0x42F0E1EBA9EA3693创建了64位哈希值。

我收到以下VS警告：C4293：'＆lt;＆lt;'：移位计数为负数或太大，未定义的行为。它适用于这个宏：

BOOST_STATIC_CONSTANT( least, sig_bits = (~( ~(least( 0u )) << Bits )) );

据我所知，0被64位的全范围位移位，这是未定义的行为。我很惊讶我没有看到32bit crc的这个警告。

如何更正此程序以正确计算ECMA-128 64位crc而没有未定义的行为？

// from https://www.boost.org/doc/libs/1_67_0/libs/crc/crc.html#usage
#include <boost/crc.hpp>      // for boost::crc_basic, boost::crc_optimal
#include <boost/cstdint.hpp>  // for boost::uint16_t
#include <algorithm>  // for std::for_each
#include <cassert>    // for assert
#include <cstddef>    // for std::size_t
#include <iostream>   // for std::cout
#include <ostream>    // for std::endl

//#define SHOW_ERROR

#if defined( SHOW_ERROR )
#define CRC ecma_crc // expected
#else 
#define CRC other_crc // actually received
#endif

int main()
{
    // This is "123456789" in ASCII
    unsigned char const  data[] = {0x31, 0x32, 0x33, 0x34, 0x35, 0x36, 0x37, 0x38, 0x39};
    std::size_t const    data_len = sizeof(data) / sizeof(data[0]);

    // The expected CRC for the given data
    boost::uint16_t const  expected = 0x29B1;
    // Expected CRCs for "123456789" as per https://www.nitrxgen.net/hashgen/
    long long const  other_crc = 0x9D13A61C0E5B0FF5; // Wolfgang Ehrhardt http://www.wolfgang-ehrhardt.de/crchash_en.html
    long long const  ecma_crc = 0x62EC59E3F1A4F00A; // CRC-64-ECMA-128 https://en.wikipedia.org/wiki/Cyclic_redundancy_check

    // Simulate CRC-CCITT
    boost::crc_basic<16>  crc_ccitt1(0x1021, 0xFFFF, 0, false, false);
    crc_ccitt1.process_bytes(data, data_len);
    assert(crc_ccitt1.checksum() == expected);

    // Repeat with the optimal version (assuming a 16-bit type exists)
    boost::crc_optimal<16, 0x1021, 0xFFFF, 0, false, false>  crc_ccitt2;
    crc_ccitt2 = std::for_each(data, data + data_len, crc_ccitt2);
    assert(crc_ccitt2() == expected);

    // Attempt 64 bit CRC
    boost::crc_basic<64>  crc_64_ecma1(0x42F0E1EBA9EA3693, 0xFFFFFFFFFFFFFFFF, 0, false, false);
    crc_64_ecma1.process_bytes(data, data_len);
    assert(crc_64_ecma1.checksum() == CRC);

    boost::crc_optimal<64, 0x42F0E1EBA9EA3693, 0xFFFFFFFFFFFFFFFF, 0, false, false>  crc_64_ecma2;
    crc_64_ecma2 = std::for_each(data, data + data_len, crc_64_ecma2);
    assert(crc_64_ecma2() == CRC);

    std::cout << "All tests passed." << std::endl;
    return 0;
}

Answer 1

仔细查看62ec59e3f1a4f00a和9d13a61c0e5b0ff5。你看到这两者之间的关系吗？

更新

好！你看到了（我讨厌剥夺他人发现的乐趣。）至于为什么，你可以查看Greg Cook's CRC catalog关于ECMA-182 CRC的定义，简称为CRC-64：

width=64 poly=0x42f0e1eba9ea3693 init=0x0000000000000000 refin=false refout=false xorout=0x0000000000000000 check=0x6c40df5f0b497347 residue=0x0000000000000000 name="CRC-64"

这定义CRC的初始值为零，最后的异或为零，即没有变化。这对于CRC来说并不常见，因为它会导致任意长度的零字符串具有相同的CRC，等于零。

CRC-64 / WE也在那里定义，它给出了：

width=64 poly=0x42f0e1eba9ea3693 init=0xffffffffffffffff refin=false refout=false xorout=0xffffffffffffffff check=0x62ec59e3f1a4f00a residue=0xfcacbebd5931a992 name="CRC-64/WE"

这是更常见的，具有初始化和异或 - 或全部为1，因为一串零的CRC将取决于字符串的长度，并且零长度消息的CRC为零。

但是，这与您提供的链接上的计算不一致。您提供的链接使用初始值0计算它，而Greg的目录中的定义使用所有1初始化CRC。其中只有一个是正确的。

更新2：

Greg的目录是正确的。链接的在线哈希计算器是错误的。我通过查看Wolfgang Ehrhardt's（＆＃34; WE＆＃34;在CRC-64 / WE中）source code (a zip file)来验证CRC定义。链接计算器是双重错误的，因为它给出了CRC-64 / WE检查值62ec...作为CRC-64 / ECMA-182结果，并且它给出了CRC-64 / WE的结果，它们既不匹配CRC -64。小心你在互联网上发现了什么。

Answer 2

更正CRC的参数

Boost对CRC-32 / B / BZIP2 / AAL5 / DECT-B有以下typedef：

typedef crc_optimal<32, 0x04C11DB7, 0xFFFFFFFF, 0xFFFFFFFF, true, true>
  crc_32_type;

类似地，ECMA-128 64位CRC需要最终的xor值（第3个参数）：

boost::crc_basic<64>  crc_64_ecma1(0x42F0E1EBA9EA3693, 0xFFFFFFFFFFFFFFFF, 0xFFFFFFFFFFFFFFFF, false, false);
                                                                           ^^^^^^^^^^^^^^^^^^

警告消息的原因

以下模板

template < std::size_t Bits >
class crc_basic

用途

template < std::size_t Bits >
struct mask_uint_t

并且此mask_uint_t专门针对不同数量的位：

unsigned char -> BOOST_STATIC_CONSTANT( least, sig_bits = (~( least(0u) )) );
unsigned short -> BOOST_STATIC_CONSTANT( least, sig_bits = (~( least(0u) )) );
unsigned int -> BOOST_STATIC_CONSTANT( least, sig_bits = (~( least(0u) )) );

但是非专业化版本不同并触发了未定义的行为警告：

BOOST_STATIC_CONSTANT( least, sig_bits = (~( ~(least( 0u )) << Bits ))）;

在MSVC上它仍然会产生正确的值，但可能不应该依赖它。

使用Boost计算ECMA-128 64位CRC

2 个答案:

更正CRC的参数

警告消息的原因