BaseX - 在XQuery中使用封闭xml时内存不足

时间:2017-08-21 10:17:20

标签: xquery basex

我一直在尝试查询包含超过1500000个项目的BaseX数据库。 当我运行此查询时

for $item in collection('coll')//item
    return $item (: returns an xml element :)

它在不到一秒的时间内执行。

但是当我尝试在xml中返回结果时,我得到一个“Out of main memory”错误。

<xml>{
    for $item in collection('coll')//item
       return $item
}</xml>

这使我想要放弃本机xml db方法(与其他数据库相同,例如eXistDB),所以如果有任何信息有这个问题,那将非常有帮助。

由于

2 个答案:

答案 0 :(得分:5)

由于XQuery的语义,如果所有子节点都被新的父节点包装,则需要复制它们。以下查询演示了这一点,该查询比较了原始节点和复制节点的节点标识。它将产生false

let $node := <node/>
let $parent := <parent>{ $node }</parent>
return $parent/node is $node

由于复制数百万个节点的成本很高,因此不可避免地会导致内存不足错误。

如果您将结果写入文件,这是解决此限制的实用解决方案:

(:~ 
 : Writes element to a file, wrapped by a root node.
 : @param  $path      path to file
 : @param  $elements  elements to write
 : @param  $name      name of root node
 :)
declare function local:write-to(
  $path      as xs:string,
  $elements  as element()*,
  $name      as xs:string
) as empty-sequence() {
  file:write-text($path, '<' || $name || '>'),
  file:append($path, $elements),
  file:append-text($path, '</' || $name || '>')
};

local:write-to('result.xml', <result/>, 'root')

预测批评:这是一个明确的黑客攻击。例如,该方法与BaseX的各种非默认序列化参数冲突(如果需要输出XML声明,结果将不会很好地形成等)。

答案 1 :(得分:4)

使用BaseX 9.0,您可以通过COPYNODE选项临时禁用节点复制:

(# db:copynode false #) {
  <xml>{
    for $item in collection('coll')//item
    return $item
  }</xml>
}