标签： c# lexical-analysis dfa
我实现了一个简单的Scanner-Generator。
我在制作过程中遇到一个问题，这与定界符分类有关。
例如，如果包含空格，例如“ a + b”，则可以通过简单地分隔空格来创建id + plus + id标记。但是，如果没有像“ a + b”这样的空白，则会将其视为无法识别的规则，而不是id + plus + id。
如果每次都指定一个定界符，这是一个要解决的问题，但是在“ 023abc”的情况下，它被解释为数字+ id，因此不易使用。
让我知道是否有解决此问题的方法。
我的代码：https://github.com/rollrat/compiler-compiler