2个HD上的OSRM提取和最佳交换stxxl位置

时间:2017-09-02 08:13:13

标签: osrm stxxl swapfile

我想设置汽车资料数据,但它现在需要3天,仍然是100%图表(所以更多的去),我在想,也许我的交换和stxxl只是设置不当。< / p>

我有以下系统

  • 2HDs 4 TB SATA 6 Gb / s 7200 rpm硬盘企业级
  • 64 GB DDR4 RAM
  • 英特尔®酷睿™i7-6700四核Skylake包含超线程

HD1有

  • 系统
  • 程序
  • osm.pbf文件就可以了
  • 提取的数据必须在此
  • 使用32G交换进行分区

HD2大部分都是空的(但其他一些大数据需要空间)

我的提取方法是在HD2上设置300G的另一个交换,在HD2上设置300G的stxxl。但它似乎太慢了。 iotop有一些阅读和一些写作活动,但没什么大不了的。 htop没有显示任何重要的CPU使用情况。我从8个流程开始。

使用/ on

  • planet-latest.osm.pbf(37G)
  • OSRM 5.9.0(现在直接从OSRM github尝试5.12.0 docker,没有速度增益)

XXXXXXXXX

  1. 有没有更好的方法来设置额外的交换和stxxl(可能是HD1上的交换,只有HD2上的stxxl)?
  2. 如果我可以按需要移动提取数据的文件和目标位置,那么在HD1上执行.pbf,在HD1上执行所有交换和stxxl以及在hd2上提取数据会更好(然后只是把它复制到HD1)? 感谢

    编辑4.9.2017似乎stxxl被禁用了几个版本,需要手动启用。所以这可能会给我一些提升。然而,我仍然对两个HD的最佳分割感兴趣。

1 个答案:

答案 0 :(得分:1)

这里的瓶颈不是STXXL。我们默认从5.9开始禁用STXXL使用。看看你的服务器规格,罪魁祸首是RAM。 64GB对整个星球来说还不够。

如果你想一次性处理这个星球,我想你需要大约180GB的RAM。你当然可以尝试增加你的交换空间,但它会非常慢。