本征矩阵+ Boost :: Serialization / C ++ 17

时间:2019-02-05 12:04:39

标签: c++ gcc boost eigen boost-serialization

我正在尝试为我们的代码库启用C ++ 17,该代码库强烈基于boost-和boost :: serialization,用于中间数据存储和传输前序列化。

总体而言,一切看起来都不错,并且似乎可以正常运行,除非我们要序列化Eigen :: Matrix对象,其中包括用于共享ptr序列化的boost序列化支持标头。

github上的最小示例/测试代码:https://github.com/nightsparc/EigenSerialize

[编辑] @Marc Glisse在下面提供了减少的测试用例。参见:https://stackoverflow.com/a/54536756/1267320

我使用不同的编译器(GCC6 / 7/8和Clang6)进行了一些测试。我们通常使用的系统GCC是Ubuntu 18.04的GCC7.3。 对我来说,这似乎是与GCC7及更高版本的C ++ 17模式有关的问题。

我的意思是,在最小的示例中,我没有使用shared_ptr,因此我可以删除它,一切都会好起来的...不过,在我们的代码库中,shared_ptrs到处都可以序列化。

你们中的一个人不知道这是怎么回事吗?还是GCC C ++ 17模式下的错误?

测试代码(没有适当的错误处理和内容...):

#include <fstream>

#include <boost/archive/text_iarchive.hpp>
#include <boost/archive/text_oarchive.hpp>
#include <boost/serialization/split_free.hpp>

#include <Eigen/Core>

// !! Conflicting include! Whenever the serialization wrapper for shared_ptrs is included
// the compilation fails!
// /usr/local/include/Eigen/src/Core/util/ForwardDeclarations.h:32:
// error: incomplete type ‘Eigen::internal::traits<boost::serialization::U>’ used in nested name specifier
// enum { has_direct_access = (traits<Derived>::Flags & DirectAccessBit) ? 1 : 0,
#include <boost/serialization/shared_ptr.hpp>

// Serialization methods for fixed-size Eigen::Matrix type
namespace boost {
    namespace serialization {
        template<
                class Archive,
                typename _Scalar,
                int _Rows,
                int _Cols,
                int _Options,
                int _MaxRows,
                int _MaxCols
                >
        inline void serialize(Archive & arArchive,
                              Eigen::Matrix<_Scalar,
                              _Rows,
                              _Cols,
                              _Options,
                              _MaxRows,
                              _MaxCols> & arMatrix,
                              const unsigned int aVersion)
        {
            boost::serialization::split_free(arArchive, arMatrix, aVersion);
        }

        template<
                class Archive,
                typename _Scalar,
                int _Rows,
                int _Cols,
                int _Options,
                int _MaxRows,
                int _MaxCols
                >
        inline void save(Archive & arArchive,
                         const Eigen::Matrix<_Scalar,
                         _Rows,
                         _Cols,
                         _Options,
                         _MaxRows,
                         _MaxCols> & arMatrix,
                         const unsigned int)
        {
            typedef typename Eigen::Matrix<_Scalar, _Rows, _Cols, _Options, _MaxRows, _MaxCols>::Index TEigenIndex;

            const TEigenIndex lRows = arMatrix.rows();
            const TEigenIndex lCols = arMatrix.cols();

            arArchive << lRows;
            arArchive << lCols;

            if(lRows > 0 && lCols > 0)
            {
                arArchive & boost::serialization::make_array(arMatrix.data(), arMatrix.size());
            }
        }

        template<
                class Archive,
                typename _Scalar,
                int _Rows,
                int _Cols,
                int _Options,
                int _MaxRows,
                int _MaxCols
                >
        inline void load(Archive & arArchive,
                         Eigen::Matrix<_Scalar,
                         _Rows,
                         _Cols,
                         _Options,
                         _MaxRows,
                         _MaxCols> & arMatrix,
                         const unsigned int)
        {
            typedef typename Eigen::Matrix<_Scalar, _Rows, _Cols, _Options, _MaxRows, _MaxCols>::Index TEigenIndex;

            TEigenIndex lRows, lCols;

            // deserialize meta data
            arArchive & lRows;
            arArchive & lCols;

            // do some error handling here

            if(lRows > 0 && lCols > 0)
            {
                // deserialize data
                arArchive & boost::serialization::make_array(arMatrix.data(), arMatrix.size());
            }
        }

    }
}

class TestClass
{
    public:
        TestClass()
        {
            // fill eigen
            m(0,0) = 3;
            m(1,0) = 2.5;
            m(0,1) = -1;
            m(1,1) = m(1,0) + m(0,1);
        }

    private:
        friend class boost::serialization::access;
        Eigen::Matrix2d m;

        template<class Archive>
        void serialize(Archive &ar, const unsigned int)
        {
            ar & m;
        }
};


int main(void)
{
    using namespace boost::archive;

    // Serialize
    TestClass TestA;
    std::ofstream oss("test.log");
    {
        text_oarchive oa(oss);
        oa << TestA;
    }

    // deserialize now
    TestClass TestB;
    std::ifstream iss("test.log");
    {
        text_iarchive ia(iss);
        ia >> TestB;
    }
}

[EDIT 2019-02-06]
GCC错误:https://gcc.gnu.org/bugzilla/show_bug.cgi?id=84075
Eigen-Bug:http://eigen.tuxfamily.org/bz/show_bug.cgi?id=1676

[EDIT 2019-02-07]
提高PR:https://github.com/boostorg/serialization/pull/144

2 个答案:

答案 0 :(得分:2)

我会(不可靠地)猜测C ++ 14和C ++ 17之间的差异是由于模板参数的推导(编译器无法仅因为参数数量太小而关闭模板),而gcc确实不作为SFINAE处理。我不知道该错误是在gcc还是Eigen中,但是无论如何这是一个更简化的测试用例

#include <Eigen/Core>

template<template<class U>class SPT>void f(SPT<class U>&);
template<typename _Scalar, int _Rows, int _Cols, int _Options, int _MaxRows, int _MaxCols>
void f(Eigen::Matrix<_Scalar, _Rows, _Cols, _Options, _MaxRows, _MaxCols> & arMatrix){}

int main()
{
  Eigen::Matrix2d m;
  f(m);
}

答案 1 :(得分:1)

不确定错误,但是为什么需要boost::serialization::split_free而不是简单地这样做:

// Serialization methods for fixed or dynamic-size Eigen::Matrix type
namespace boost {namespace serialization {
template<class Archive, typename _Scalar, int _Rows, int _Cols, int _Options, int _MaxRows, int _MaxCols>
inline void serialize(Archive & ar,
        Eigen::Matrix<_Scalar, _Rows, _Cols, _Options, _MaxRows, _MaxCols> & matrix,
        const unsigned int /* aVersion */)
{
    Eigen::Index rows = matrix.rows();
    Eigen::Index cols = matrix.cols();
    ar & (rows);
    ar & (cols);
    if(rows != matrix.rows() || cols != matrix.cols())
        matrix.resize(rows, cols);
    if(matrix.size() !=0)
        ar &  boost::serialization::make_array(matrix.data(), rows * cols);
}
} } // namespace boost::serialization

使用带有Boost 1.58的C ++ 17和最新的Eigen3.3或clang 5/6和gcc 6/7/8的Eigen默认版本对我来说很好用。

我添加了一个matrix.resize(),这也应该使代码也适用于动态矩阵,对于固定大小的矩阵,这不应该引入任何开销(使用优化进行编译时)-实际上,当读取不可调整大小的矩阵时,它应该断言矩阵(在不使用-DNDEBUG的情况下进行编译)。


如果要保留当前基于split_free的序列化,可以通过添加此模板特殊化来解决该问题。在声明您的序列化之前,它必须在包含Eigen/Core之后的某个位置,是否包含<boost/serialization/shared_ptr.hpp>都没关系。

namespace boost { namespace serialization {
   struct U;  // forward-declaration for Bug 1676
} } // boost::serialization 

namespace Eigen { namespace internal {
  // Workaround for bug 1676
  template<>
  struct traits<boost::serialization::U> {enum {Flags=0};};
} }