Question

我想按点分割单词并保留数字，例如：＆＃34; google.com 123＆＃34; =＆GT; [＆＃34; google＆＃34;，＆＃34; com＆＃34;，＆＃34; 123＆＃34;]

标准分析器不能用点分割单词：＆＃34; google.com 123＆＃34; =＆GT; [＆＃34; google.com＆＃34;，＆＃34; 123＆＃34;]

简单的分析器筛选出数字：＆＃34; google.com 123＆＃34; =＆GT; [＆＃34; google＆＃34;，＆＃34; com＆＃34;]

感谢。

Answer 1

如果您知道要分割代币的字符，可以使用pattern tokenizer。您可以指定正则表达式以匹配所有“分割器”。

Answer 2

[回答问题已经很晚了，但可能会帮助其他有类似问题的人。]

您可以根据自己的规范使用模式正则表达式创建一个简单的模式拆分标记器。

{
  "analyzer": {
    "foo": {
      "tokenizer": "foo_tokenizer",
      "filter": ["lowercase"]
    }
  },
  "tokenizer": {
    "foo_tokenizer": {
      "type": simple_pattern_split",
      "pattern": "\\.| "
    }
  }
}

示例查询：

POST index_name/_analyze
{
  "analyzer": "foo",
  "text": "google.com 123"
}

结果：

{
  "tokens": [
    {
      "token": "google",
      "start_offset": 0,
      "end_offset": 6,
      "type": "word",
      "position": 0
    },
    {
      "token": "com",
      "start_offset": 7,
      "end_offset": 10,
      "type": "word",
      "position": 1
    },
    {
      "token": "123",
      "start_offset": 11,
      "end_offset": 14,
      "type": "word",
      "position": 2
    }
  ]
}

需要一个可以逐点拆分并保留数字的分析器

2 个答案: