我想知道编译器将如何获得字符序列

Question

我想知道编译器如何获得字符序列？请记住词法分析器的概念如何打破这个输入流“努力工作是成功的关键”？

Answer 1

什么编译器？什么语言？对于C-ish语言，句法分析部分将一系列字符分解为（序列）标记，其中标记被定义为由空格分隔的最长字符序列。所以在你的 - 不切实际的例子中，代币是＆＃34;硬＆＃34;，＆＃34;工作＆＃34;，＆＃34;＆＃34;，＆＃34;键＆＃34;，＆＃ 34;到＆＃34;，＆＃34;成功＆＃34;。空白字符永远不会出现在令牌中。你想要最长的，因为你不想看到＆＃34; Hard＆＃34; as＆＃34; H＆＃34;，＆＃34; a＆＃34;，＆＃34; r＆＃34;，＆＃34; d＆＃34;。至于如何，通常使用从常规语言描述生成的有限状态自动机（FSA）。