我试图使用tdbloader2来加载Freebase转储。但我得到一个例外:“java.lang.OutOfMemoryError:Java heap”
我将JVM_ARGS增加到-Xmx60G,仍然得到相同的异常。 (我的机器有64G)。
我切换到tdbloader,并使用top来监控memery消耗,并且内存使用量在不到半小时内急剧增加到15G。
==
更多信息:
转储是rdf格式,我把它分成多个ttl文件,每个文件大约700M,总共90G。
我用过
tdbloader2 --loc kg x*.ttl
我修改了tdbloader2脚本,更改了行
JVM_ARGS=${JVM_ARGS:--Xmx1024M}
是
JVM_ARGS=${JVM_ARGS:--Xmx60G}
我现在没有确切的错误输出。但我记得当它试图创建一个新的HashMap时失败了。