看来这可以通过提供CharStream的自定义实现来完成。但是，我们遇到了一个问题，因为调用了substring方法。它是从CommonToken.getText调用的，它由生成的解析器调用。我想也许我们可以缓冲回最新的标记调用，但它根本没有被调用。
那么，是否有一种直接的方法可以确定缓冲区有多远来处理未来的子串调用，或者是否有一种方法可以修改我们的词法分析器/解析器语法以某种方式获取字符串数据是否涉及getText调用，或使用构造函数构造CommonToken，该构造函数采用String而不是开始/结束对？