评论是否被认为是令牌？

Question

通常我们会将标识符，关键字，分隔符，运算符和文字视为标记。我们还可以将评论视为一种标记吗？

Answer 1

不，评论不被视为代币。编译器根本不考虑它们。至少对于C＃和C ++，您不会在相应编译器分别生成的程序集或可执行文件中找到它们。关于Java，我可以假设类似的事情发生但你必须搜索它，以便验证它。他们只是帮助程序的读者更快地赶上，而不是在第一次阅读代码时深入研究细节。

Answer 2

这取决于语言，编译器以及它如何实现lexing。在C和C ++中，注释被预处理器剥离，永远不会进入真正的解析器。在没有预处理器的语言中，必须将注释视为无意义的结构，必须立即丢弃。

这些示例中的常量是程序不想对注释执行任何有用的操作。这不是一个普遍的事实。如果你创建一个工具来操作源代码而不是尝试将其编译为机器代码，那么将注释实现为某种可标记的结构是有意义的，因为你可能想要操纵它们。