loadrdf-tool中止或停止加载1B + triples

时间:2017-06-13 08:09:28

标签: graphdb

我在具有32GB内存的Windows服务器上设置了graphdb。我修改了loadrdf cmd并添加了“-Xms16G -Xmx24G”。

不,我正在尝试导入整个维基数据rdf-dump,但遇到了困难。首先,我尝试使用10.000.000的实体索引大小值,但是在达到超过10亿三倍之后,loadrdf-tool中止了。然后我尝试将实体索引大小值设置为2.000.000.000,但这更糟糕。目前它已处理了500.000.000三倍,但负载速度已降至7.000 st / s。

我应该注意哪些其他设置/配置可以使导入工作?

1 个答案:

答案 0 :(得分:1)

公共维基数据RDF转储有大约20亿个语句,可能还有大约500万个独特的RDF资源。默认情况下,实体池结构(所有唯一RDF资源的索引)存储在非堆内存空间中,您需要保留至少8GB。为OS系统添加至少3GB以上,这意味着您实际需要将已用内存量减少到“-Xmx20G”。

为了加快数据加载速度,GraphDB文档建议使用SSD。这将提高数据加载速度,因为SSD的搜索时间要短得多。