查询从内存映射文件中检索的Rtree时出现分段错误

时间:2015-02-27 12:10:18

标签: c++ boost memory-mapped-files boost-geometry

我很困惑。请考虑以下代码,稍微改编自http://www.boost.org/doc/libs/1_57_0/libs/geometry/doc/html/geometry/spatial_indexes/rtree_examples/index_stored_in_mapped_file_using_boost_interprocess.html

#include <boost/filesystem.hpp>

#include <boost/geometry.hpp>
#include <boost/geometry/geometries/point.hpp>
#include <boost/geometry/geometries/box.hpp>
#include <boost/geometry/index/rtree.hpp>

#include <boost/interprocess/managed_mapped_file.hpp>

namespace bg = boost::geometry;
namespace bgi = boost::geometry::index;
namespace bi = boost::interprocess;

typedef bg::model::point<float, 2, bg::cs::cartesian> point; 
typedef std::pair<point, int> value_t; // **
typedef bgi::linear<32, 8> params_t;
typedef bgi::indexable<value_t> indexable_t;
typedef bgi::equal_to<value_t> equal_to_t;
typedef bi::allocator<value_t, bi::managed_mapped_file::segment_manager> allocator_t;
typedef bgi::rtree<value_t, params_t, indexable_t, equal_to_t, allocator_t> rtree_t;

using namespace boost::filesystem;

int main(int argc, char * argv[])
{   

    std::string indexFile = "/home/jerome/proteome/index_tree.dat";
    remove(indexFile); 

    int mmfSize = 1200000;

    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);

        std::cout << "Indexing ... " << std::endl;
        for(int i = 0; i < 1001; i++)
        {
            rtree_ptr->insert(std::make_pair(point(i,i),i*i));  
        }

        std::cout << "Indexing done." << std::endl;
    }

    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);

        std::cout << "Tree loaded, contains " << rtree_ptr->size() << " elements" << std::endl;

        // query point
        point pt(2, 1);

        std::vector<value_t> results;
        rtree_ptr->query(bgi::nearest(pt, 3), std::back_inserter(results));
        std::cout << "Query performed" << std::endl;    

        for (int i = 0; i < results.size(); i++)
        {
            value_t v = results[i];
            std::cout << "Found the point " << v.second << " at a distance of " << bg::distance(v.first,pt) << std::endl; 
        }
    }

}

效果很好。它创建一个Rtree并将其存储在一个内存映射文件中,然后检索它并查询它,没问题。但是,只要我尝试将此文件拆分为两个(其中树在一个文件中构建,并在另一个文件中查询),查询就不再起作用了! (下面代码中的“...”指的是初始示例中的所有includes和typedef,它们已完全复制到两个文件中,但为了清楚起见,这里将其删除。)

构建文件:

...
int main(int argc, char * argv[])
{   

    std::string indexFile = "/home/jerome/proteome/index_tree.dat";
    remove(indexFile); 

    int mmfSize = 1200000;

    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);

        std::cout << "Indexing ... " << std::endl;
        for(int i = 0; i < 1001; i++)
        {
            rtree_ptr->insert(std::make_pair(point(i,i),i*i));  
        }

        std::cout << "Indexing done." << std::endl;
    }

}

查询文件:

...

int main(int argc, char * argv[])
{   

    std::string indexFile = "/home/jerome/proteome/index_tree.dat";

    int mmfSize = 1200000;

    {
        bi::managed_mapped_file file(bi::open_or_create,indexFile.c_str(), mmfSize);
        allocator_t alloc(file.get_segment_manager());
        rtree_t * rtree_ptr = file.find_or_construct<rtree_t>("rtree")(params_t(), indexable_t(), equal_to_t(), alloc);

        std::cout << "Tree loaded, contains " << rtree_ptr->size() << " elements" << std::endl;

        // query point
        point pt(2, 1);

        std::vector<value_t> results;
        rtree_ptr->query(bgi::nearest(pt, 3), std::back_inserter(results));
        std::cout << "Query performed" << std::endl;    

        for (int i = 0; i < results.size(); i++)
        {
            value_t v = results[i];
            std::cout << "Found the point " << v.second << " at a distance of " << bg::distance(v.first,pt) << std::endl; 
        }
    }

}

(remove()用于防止覆盖现有文件并每次重新开始。)

构建代码工作正常,但查询代码失败:

Tree loaded, contains 1001 elements Segmentation fault (core dumped)

有什么想法吗?我希望以某种方式,当树的检索完成时,某些东西丢失,因此检索到的树格式错误并在查询时导致内存问题。但是为什么它会在两个不同的文件中发生,而不是在同一个文件中而是在两个不同的范围内?它不应该有完全相同的行为吗?

编辑:我使用的是boost 1.54。

2 个答案:

答案 0 :(得分:2)

在内部,R树可以使用各种类型的节点,虽然定义和选择它们的界面没有记录,可能永远不会。在Boost 1.56中,由于您所面临的问题,默认类型的节点已完全更改为基于变体。

所以要在没有问题的情况下使用rtree和Interprocess,你可以:

另见此讨论:http://boost-geometry.203548.n3.nabble.com/rtree-crash-when-used-with-inter-process-td4026037.html

在上面的讨论结束时,还有一个解决方案,但它更复杂,取决于库的内部。它可能会在某些时候停止编译(事实上它应该仅适用于Boost 1.56及更低版本)。但如果您使用它,您的程序将只需要官方Boost进行编译,无需任何修改。

答案 1 :(得分:1)

这是一个很好的。

在调试器中的代码之后,实际存储在R树的节点中的是什么?

事实证明,R树实现存储了boost::geometry::index::detail::rtree::dynamic_leaf<...>类型的对象。这源于boost::geometry::index::detail::rtree::dynamic_node<...>。此对象在映射文件的堆上正确分配,将节点数据与对象的vtable指针一起存储。对于可执行文件,vtable实例化一次,但它与读者的位置不同于读者。当在阅读器中调用dynamic_node上的虚拟方法时,从编写器存储的vtable地址查找要跳转到的地址,从阅读器的角度来看,该地址位于超空间中。< / p>

这就是坠机的来源!

没有简单的解决方法:boost::interprocess明确does not support sharing dynamic objects