Question

这是演示代码

label:
var id
let id = 10
goto label

如果允许关键字作为标识符将

let:
var var
let var = 10
goto let

这是完全合法的代码。但是在antlr中似乎很难做到这一点。

AFAIK，如果antlr与令牌匹配，则永远不会回退到id令牌。所以对于antlr它会看到

LET_TOKEN :
VAR_TOKEN <missing ID_TOKEN>VAR_TOKEN
LET_TOKEN <missing ID_TOKEN>VAR_TOKEN = 10

虽然antlr允许predicate，但我必须控制任何令牌匹配并且有问题。语法成为了这个

grammar Demo;
options {
  language = Go;
}
@parser::members{
    var _need = map[string]bool{}
    func skip(name string,v bool){
        _need[name] = !v
        fmt.Println("SKIP",name,v)
    }
    func need(name string)bool{
        fmt.Println("NEED",name,_need[name])
        return _need[name]
    }
}

proj@init{skip("inst",false)}: (line? NL)* EOF;
line
    : VAR ID
    | LET ID EQ? Integer
    ;

NL: '\n';
VAR: {need("inst")}? 'var' {skip("inst",true)};
LET: {need("inst")}? 'let' {skip("inst",true)};
EQ: '=';

ID: ([a-zA-Z] [a-zA-Z0-9]*);
Integer: [0-9]+;

WS: [ \t] -> skip;

看起来很可怕。

但这很简单，在pegjs

中进行测试

Expression = (Line? _ '\n')* ;

Line
  = 'var' _ ID
  / 'let' _ ID _ "=" _ Integer

Integer "integer"
  = [0-9]+ { return parseInt(text(), 10); }

ID = [a-zA-Z] [a-zA-Z0-9]*

_ "whitespace"
  = [ \t]*

我实际上是在peggo和javacc完成此操作。

我的问题是如何在antlr4.6中处理这些语法，我对antlr4.6 go目标感到非常兴奋，但似乎我为我的语法选择了错误的工具？

Answer 1

最简单的方法是为标识符定义解析器规则：

id: ID | VAR | LET;

VAR: 'var';
LET: 'let';
ID: [a-zA-Z] [a-zA-Z0-9]*;

然后在解析器规则中使用id而不是ID。

另一种方法是将ID用于标识符和关键字，并使用谓词来消除歧义。但它的可读性较差，所以我改用第一种方式。

Antlr4如何构建语法允许关键字作为标识符

1 个答案: