MLCP批量加载

时间:2015-02-18 06:24:21

标签: marklogic mlcp

我有近10000个XML(小)文件,我通过MLCP将它们放入MarkLogic。在摄取时,我正在进行一些转换,转换中的主要内容是字典更新。我正在从XML elemens的输入中更新Dictionary。

我收到了警告。这个警告的含义和原因是什么?

WARN mapreduce.ContentWriter: XDMP-XDQPNOSESSION

MLCP正在非常缓慢地摄取文档。我认为这是因为字典更新。有什么方法可以增强MLCP java堆内存,或者我可以在ML服务器上快速摄取这些文档的任何其他方法。

请建议。

1 个答案:

答案 0 :(得分:2)

XDMP-XDQPNOSESSION的文档是指影响MarkLogic 5.0-2及之前和4.2-9及之前的错误。如果你正在使用其中一个版本,看起来修复就是通过它们升级。

您提到基于XML元素更新Dictionary。 MLCP可以很好地并行化输入,但对于每个输入文档,您都会在Dictionary文档中获取写锁定。不确定你想要用词典完成什么,但也许你可以使用单词词典来代替。这将在插入文档时自动更新,而无需对单个文件进行写锁定。