它如何为每个lexeme产生多个令牌？

Question

我刚刚开始阅读“龙书”，我发现很难理解某些陈述。

它说：“词法分析器为源程序中的每个词位生成令牌序列”。能帮我理解上面这行吗？我知道令牌和词汇，但是为每个词汇制作多个令牌是什么意思...... AFAIK LEXEME本身就会损害一个令牌。

完整的引用如下：

  

“作为编译器的第一阶段，Lexical Analyzer的主要任务是读取源程序的输入字符，将它们分组为lexemes，并为源程序中的每个lexeme生成一系列令牌作为输出。 “

以上引用来自第3章第3.1节标题“词汇分析器的作用”页码为109

Answer 1

你是对的。令牌通常与词位一对一对应。尝试重新解析该句子为“...并在源程序中为词汇生成一系列令牌”。正如我读到的那样，这就是作者的意思。