通配符cts：元素值查询返回错误的匹配项

时间：2018-09-24 09:19:29

标签： marklogic

wildcard cts:element-value-query的行为异常。

插入文档查询：

xdmp:document-insert('/sample/2.xml', <data>the living Theater</data>)

cts查询：

cts:search(
    doc(),
    cts:element-value-query(xs:QName('data'), 'theater* *', ('wildcarded', 'case-insensitive', 'unstemmed', 'punctuation-sensitive', 'whitespace-sensitive')),
    'unfiltered'
)

以上cts查询返回了/sample/2.xml文档。据我了解，此查询不应返回上述文档，而应仅返回以theater文本开头的文档。

问题似乎出在下面的文本模式上。

在文档中显示文本：@@@ word @@@text

搜索词：@@@t* *

@-可以是任何字符。

我也可以使用以下数据重现该问题。

在文档中显示文本：mark the marklogic

搜索文字：markl* *

与通配符相关的索引设置为true。

我粘贴了数据库配置，这可能有助于发现问题。

数据库配置： 

<package-database xmlns="http://marklogic.com/manage/package/databases">
    <config>
        <name>publishers</name>
        <package-database-properties>
            <enabled>true</enabled>
            <retired-forest-count>0</retired-forest-count>
            <language>en</language>
            <stemmed-searches>advanced</stemmed-searches>
            <word-searches>true</word-searches>
            <word-positions>true</word-positions>
            <fast-phrase-searches>true</fast-phrase-searches>
            <fast-reverse-searches>false</fast-reverse-searches>
            <triple-index>true</triple-index>
            <triple-positions>true</triple-positions>
            <fast-case-sensitive-searches>true</fast-case-sensitive-searches>
            <fast-diacritic-sensitive-searches>true</fast-diacritic-sensitive-searches>
            <fast-element-word-searches>true</fast-element-word-searches>
            <element-word-positions>true</element-word-positions>
            <fast-element-phrase-searches>true</fast-element-phrase-searches>
            <element-value-positions>true</element-value-positions>
            <attribute-value-positions>true</attribute-value-positions>
            <field-value-searches>true</field-value-searches>
            <field-value-positions>true</field-value-positions>
            <three-character-searches>true</three-character-searches>
            <three-character-word-positions>true</three-character-word-positions>
            <fast-element-character-searches>true</fast-element-character-searches>
            <trailing-wildcard-searches>true</trailing-wildcard-searches>
            <trailing-wildcard-word-positions>true</trailing-wildcard-word-positions>
            <fast-element-trailing-wildcard-searches>true</fast-element-trailing-wildcard-searches>
            <word-lexicons>
                <word-lexicon>http://marklogic.com/collation/codepoint</word-lexicon>
            </word-lexicons>
            <two-character-searches>false</two-character-searches>
            <one-character-searches>false</one-character-searches>
            <uri-lexicon>true</uri-lexicon>
            <collection-lexicon>true</collection-lexicon>
            <reindexer-enable>true</reindexer-enable>
            <reindexer-throttle>5</reindexer-throttle>
            <reindexer-timestamp>0</reindexer-timestamp>
            <directory-creation>manual</directory-creation>
            <maintain-last-modified>false</maintain-last-modified>
            <maintain-directory-last-modified>false</maintain-directory-last-modified>
            <inherit-permissions>false</inherit-permissions>
            <inherit-collections>false</inherit-collections>
            <inherit-quality>false</inherit-quality>
            <in-memory-limit>174080</in-memory-limit>
            <in-memory-list-size>341</in-memory-list-size>
            <in-memory-tree-size>85</in-memory-tree-size>
            <in-memory-range-index-size>11</in-memory-range-index-size>
            <in-memory-reverse-index-size>11</in-memory-reverse-index-size>
            <in-memory-triple-index-size>44</in-memory-triple-index-size>
            <large-size-threshold>1024</large-size-threshold>
            <locking>fast</locking>
            <journaling>fast</journaling>
            <journal-size>682</journal-size>
            <journal-count>2</journal-count>
            <preallocate-journals>false</preallocate-journals>
            <preload-mapped-data>false</preload-mapped-data>
            <preload-replica-mapped-data>false</preload-replica-mapped-data>
            <range-index-optimize>facet-time</range-index-optimize>
            <positions-list-max-size>256</positions-list-max-size>
            <format-compatibility>automatic</format-compatibility>
            <index-detection>automatic</index-detection>
            <expunge-locks>none</expunge-locks>
            <tf-normalization>scaled-log</tf-normalization>
            <merge-priority>lower</merge-priority>
            <merge-max-size>32768</merge-max-size>
            <merge-min-size>1024</merge-min-size>
            <merge-min-ratio>2</merge-min-ratio>
            <merge-timestamp>0</merge-timestamp>
            <retain-until-backup>false</retain-until-backup>
            <assignment-policy-name>bucket</assignment-policy-name>
        </package-database-properties>
    </config>
</package-database>

2 个答案:

答案 0 :(得分：1)

尝试在数据元素上创建元素范围索引，然后运行以下搜索：

let $terms :=  cts:element-value-match(xs:QName("data"),"theater* *")
return
  cts:search(
    doc(),
    cts:element-value-query(
      xs:QName('data'), 
      $terms, 
      ('wildcarded', 'case-insensitive', 'unstemmed', 'punctuation-sensitive', 'whitespace-sensitive')
    ),
    'unfiltered'
  )

这不会获取您的'/sample/2.xml'文档

答案 1 :(得分：1)

一些caveats带有未过滤的搜索：

  
      
  • 他们直接从索引确定结果，无需进行过滤以进行验证。这使得未过滤的结果最多   与传统搜索引擎风格的结果相当。
    •   
  • 其中包括假阳性结果。假阳性结果可能来自多种情况，包括词组搜索   包含3个或更多单词，某些通配符搜索，   标点符号敏感，变音符号敏感和/或区分大小写   搜索。
    •   

MarkLogic提供了一种确定结果是否为假阳性的方法。您可以使用cts:contains。此xquery显示您的结果确实是假阳性：

xquery version "1.0-ml";

declare boundary-space preserve;
declare namespace qm="http://marklogic.com/xdmp/query-meters";

let $trueCounter := 0
let $falseCounter := 0
let $query := cts:element-value-query(xs:QName('data'), 'theater* *')
let $x := 
  for $result in cts:search(fn:doc(), $query, "unfiltered")
  return
  (
  if ( cts:contains($result, $query) )
  then ( xdmp:set($trueCounter, $trueCounter + 1) )
  else ( xdmp:set($falseCounter, $falseCounter + 1) )
  )
return
<results>
  <resultTotal>{$trueCounter}</resultTotal>
  <false-positiveTotal>{$falseCounter}</false-positiveTotal>
  <elapsed-time>{xdmp:query-meters()/qm:elapsed-time/text()}
  </elapsed-time>
</results>

MarkLogic搜索分为两个步骤：

  1. 候选ID解析。 ML从索引中搜索匹配的文档。这些只是候选者，这意味着它们可能是误报。这对于缩小文档范围非常有用，因此不必加载太多片段。
  2. 候选ID用于从磁盘加载片段。然后，将针对初始查询再次测试每个片段。此步骤可过滤误报。

通过使用未过滤的查询，您将没有第二步，因此也就得出了假阳性。您可以了解有关here的更多信息。

编辑： This部分进一步描述了可以使用未经过滤的搜索的应用程序：

  
      
  • 您的内容和搜索词使您知道未过滤的搜索也是准确的（例如，搜索全部   在文档或片段根目录上执行的，它们是单项查询，   并且不是通配符，标点符号敏感，变音符号敏感   和/或区分大小写的搜索）。
    •   
  • 您不介意是否有一些假阳性结果，因为这些结果只是估计值（也就是说，它们需要快速，但是   不需要是精确的。）
    •   
  • 您的搜索返回大量结果，并且您想要有效的方法跳转到这些结果的特定部分。
    •   

正如第一项所述，如果您不希望出现假阳性，则不能使用通配符查询。我想您应该坚持过滤搜索。

希望这会有所帮助！

相关问题
最新问题