我想知道codemirror中tokenize执行的功能。
答案 0 :(得分：1)
codemirror通过调用tokenizer函数突出显示文本，向其传递上下文（“state”），以及指向需要突出显示的文件中当前位置的指针（“stream”）。此函数的作用是使流超过下一个标记，并返回标记的类型。这在codemirror api文档中有相当好的描述：http://codemirror.net/doc/manual.html#modeapi
对于xml.js（您在注释中引用），它具有多个tokenizer函数。根据上下文，它将设置状态的“tokenize”属性以引用其中一个tokenizer函数。然后它将使用state.tokenize指向的任何函数来查找流中的下一个标记。