我试图找到Eclipse的JDT tokenizer和它的JDT解析器之间的共同点。
我的代码设置详情如下。对于标记化，我在包PublicScanner中使用org.eclipse.jdt.internal.core.util类型的对象。为了解析程序，我正在使用包ASTParser中的org.eclipse.jdt.core.dom对象。我正在比较解析器和标记器的输出。
详细说明我的问题。说我对tokenizer和解析器的输入是：public class Test{}。仅考虑令牌public，其标识符的标识符为103，AST输出的ASTNode.getNodeType()节点标识符（使用ASTParser）为83.所以我的问题在这里是，Eclipse的JDT中是否存在一个帮助将tokenizer输出与解析器输出相关联的方法？或者，对于如何执行此操作的建议也会有所帮助。我的理解是，标记器和解析器的输出不等同，因为解析器还包括其节点的结构信息。但是对于一些令牌/节点，它们可以像上面引出的那样。因此，我的问题只关注可以完成的案例。