模式标记符到标记字符串，如222 * abc ** xyz ****** 332434 as 222，abc，xyz，332434

Question

我正在努力构建一个分析器，将222*abc**xyz******332434类型的字符串作为222,abc,xyz,332434标记。 *可以替换我的任何特殊字符。除了提供正则表达式，我还需要添加任何过滤器吗？

Answer 1

如果＆＃34;任何特殊字符＆＃34;是非字母数字，你可以在\W上创建一个简单的模式标记器。

可在此处玩的可运行示例：https://found.no/play/gist/8b2d6dc03731c1e2daef#analysis

export ELASTICSEARCH_ENDPOINT="http://localhost:9200"

curl -XPUT "$ELASTICSEARCH_ENDPOINT/index_name" -d '{
    "settings": {
        "analysis": {
            "analyzer": {
                "myAnalyzer": {
                    "type": "custom",
                    "tokenizer": "specials"
                }
            },
            "tokenizer": {
                "specials": {
                    "type": "pattern",
                    "pattern": "\\W"
                }
            }
        }
    },
    "mappings": {}
}'

Answer 2

你可以使用这样的正则表达式：

(\W+)

<强> Working demo