使用java创建词法分析器程序的想法

Question

我正在尝试使用java创建一个词法分析器程序。程序必须具有标记化的概念。我在编译器编程方面具有初级知识。我知道互联网上存在很多词法生成器。我可以用它们来测试我自己的词法分析器出来了。但我需要自己做词法分析器。任何人都可以提供一些最好的参考文献或文章或想法来开始我的词汇吗？

Answer 1

Aho Sethi和Ullman的“编译器原理，技术和工具”有一章关于词法分析器。它包含了很多关于正则表达式和有限自动机的理论，它们是这个问题域的核心。

Answer 2

我会尝试查看一些更好的源代码。我过去曾使用Sablecc。如果您转到描述如何设置环境的this页面，则会有link的源代码。 Antlr也是一个非常常用的。这是它的源代码。

此外，The Dragon Book非常好。

正如SK逻辑所建议的那样，我将Modern Compiler Implementation添加为另一种选择。