将字节数组转换为POD

时间:2016-12-07 11:30:42

标签: c++ strict-aliasing

让我们说,我有一组无符号字符代表一堆POD对象(例如从套接字或通过mmap读取)。它们代表哪些类型以及在运行时确定的位置,但我们假设每个类型已经正确对齐。

"演员"的最佳方法是什么?那些字节进入相应的POD类型?

解决方案应该符合c ++标准(让我们说> = c ++ 11)或至少保证使用g ++> = 4.9,clang ++> = 3.5和MSVC&gt ; = 2015U3。编辑:在Linux,Windows上运行x86 / x64或32/64位臂。

理想情况下,我想做这样的事情:

uint8_t buffer[100]; //filled e.g. from network

switch(buffer[0]) {
    case 0: process(*reinterpret_cast<Pod1*>(&buffer[4]); break;
    case 1: process(*reinterpret_cast<Pod2*>(&buffer[8+buffer[1]*4]); break;
    //...
}

switch(buffer[0]) {
    case 0: {
         auto* ptr = new(&buffer[4]) Pod1; 
         process(*ptr); 
    }break;
    case 1: {
         auto* ptr = new(&buffer[8+buffer[1]*4]) Pod2; 
         process(*ptr); 
    }break;
    //...
}

两者似乎都有效,但两者都是c ++ 1)中的AFAIK未定义行为。 而且只是为了完整性:我知道&#34;通常&#34;解决方案只是将东西复制到适当的局部变量:

 Pod1 tmp;
 std::copy_n(&buffer[4],sizeof(tmp), reinterpret_cast<uint8_t*>(&tmp));             
 process(tmp); 

在某些情况下,它可能没有其他人的开销,在某些情况下它甚至可能更快但性能除外,我不再能够例如现实地修改数据并且说实话:只是让我知道我在内存中的适当位置有正确的位,但我只是不能使用它们,这让我感到很恼火。

我想出的一个有点疯狂的解决方案是:

template<class T>
T* inplace_cast(uint8_t* data) {
    //checks omitted for brevity
    T tmp;
    std::memmove((uint8_t*)&tmp, data, sizeof(tmp));
    auto ptr = new(data) T;
    std::memmove(ptr, (uint8_t*)&tmp,  sizeof(tmp));
    return ptr;

}

g ++和clang ++似乎能够优化掉那些副本,但我认为这给优化器带来了很多负担,并可能导致其他优化失败,不能与const uint8_t*一起使用(尽管我不想实际修改它)并且看起来很糟糕(不要以为你会得到过去的代码审查)。

1)第一个是UB,因为它打破了严格的别名,第二个可能是UB(discussed here)因为标准只是说生成的对象没有初始化并且有不确定的值(而不是保证底层内存不受影响)。我相信第一个等效的c代码是明确定义的,因此编译器可能允许这与c-header的兼容性,但我不确定这一点。

2 个答案:

答案 0 :(得分:0)

最正确的方法是创建所需POD类的(临时)变量,并使用memcpy()将数据从缓冲区复制到该变量中:

switch(buffer[0]) {
    case 0: {
        Pod1 var;
        std::memcpy(&var, &buffer[4], sizeof var);
        process(var);
        break;
    }
    case 1: {
        Pod2 var;
        std::memcpy(&var, &buffer[8 + buffer[1] * 4], sizeof var);
        process(var);
        break;
    }
    //...
}

这样做的主要原因是对齐问题:缓冲区中的数据可能无法正确对齐您正在使用的POD类型。制作副本可以消除这个问题。即使网络缓冲区不再可用,它也允许您继续使用变量。

只有当您完全确定数据已正确对齐时,才能使用您提供的第一个解决方案。

(如果您正在从网络中读取数据,则应始终首先检查数据是否有效,并且不会在缓冲区外读取。例如,对于&buffer[8 + buffer[1] * 4],您应该检查该地址的开头加上Pod2的大小不超过缓冲区长度。幸运的是,您使用uint8_t,否则您还必须检查buffer[1]是否为否定。)

答案 1 :(得分:-1)

使用union可以转义反锯齿规则。事实上,这就是工会的意义所在。因此,在C ++标准(条款3.10.10.6)中明确允许从属于联合的类型的联合类型转换指针。 C标准(6.5.7)允许相同的事情。

因此,根据其他属性,您的样本的符合等效值可以如下所示。

union to_pod {
    uint8_t buffer[100];
    Pod1 pod1;
    Pod1 pod2;
    //...
};

uint8_t buffer[100]; //filled e.g. from network

switch(buffer[0]) {
    case 0: process(reinterpret_cast<to_pod*>(buffer + 4)->pod1); break;
    case 1: process(reinterpret_cast<to_pod*>(buffer + 8 + buffer[1]*4)->pod2); break;
    //...
}