是解析器中必须具有的tokenizer吗？

Question

标记器，词法分析器和解析器通常作为3个标准部件组合在一起。

• 解析器是否可以在没有标记器的情况下生成，并且AST可以直接从输入构建？标记化带来的好处和缺点是什么？

Answer 1

你可以跳过标记器，但是后退和前瞻变得更加复杂，因为你需要逐个字符地重新扫描所有内容。这使得你的解析器更难维护和修改，而且速度稍慢。