Antlr4如何检测无法识别的令牌和给定的句子无效

时间:2016-09-16 14:19:05

标签: java parsing antlr antlr4 lexer

我正在尝试使用Antlr开发一种新语言。这是我的语法文件:

grammar test;

program : vr'.' to'.' e 
        ;
e: be
 | be'.' top'.' be
 ;
be: 'fg' 
  | 'fs' 
  | 'mc' 
  ;
to: 'n' 
  | 'a' 
  | 'ev' 
  ;
vr: 'er' 
  | 'fp' 
  ;
top: 'b' 
  | 'af' 
  ;
Whitespace : [ \t\r\n]+ ->skip 
           ;

Main.java

String expression = "fp.n.fss";
//String expression = "fp.n.fs.fs";
ANTLRInputStream input = new ANTLRInputStream(expression);
testLexer lexer = new testLexer(input);
CommonTokenStream tokens = new CommonTokenStream(lexer);
testParser parser = new testParser(tokens);
//remove listener and add listener does not work
ParseTree parseTree = parser.program();

对于有效的句子,一切都很好。但是我希望捕获无法识别的令牌和无效句子以便返回有意义的消息。以下是我的问题的两个测试用例。

  

fp.n.fss => anltr在:' s'但我无法处理这个错误。有相同的示例错误处理程序类使用BaseErrorListener但在我的情况下它不起作用    fp.n.fs.fs =>这句话对我的语法无效但我无法抓住。我怎样才能抓住像这句话一样的失效?

1 个答案:

答案 0 :(得分:3)

首先欢迎来到SO以及ANTLR部分!错误处理似乎是经常被问到的主题之一,这里有关于处理Java/ANTLR4中的错误的非常好的主题。

您很可能希望扩展defaultErrorStrategy的功能来处理特定问题,并以不同的方式处理它们,只需打印错误行1:12令牌识别错误:' s'。 / p>

为此,您可以实现自己的默认错误策略类版本:

Parser parser = new testParser(tokens);
            parser.setErrorHandler(new DefaultErrorStrategy()
    {

        @Override
        public void recover(Parser recognizer, RecognitionException e) {
            for (ParserRuleContext context = recognizer.getContext(); context != null; context = context.getParent()) {
                context.exception = e;
            }

            throw new ParseCancellationException(e);
        }


        @Override
        public Token recoverInline(Parser recognizer)
            throws RecognitionException
        {
            InputMismatchException e = new InputMismatchException(recognizer);
            for (ParserRuleContext context = recognizer.getContext(); context != null; context = context.getParent()) {
                context.exception = e;
            }

            throw new ParseCancellationException(e);
        }
    });

 parser.program(); //back to first rule in your grammar

我还建议将解析器和词法分析器语法分开,如果不是为了可读性,还因为许多用于分析.g4文件的工具(特别是ANTLRWORKS 2)会抱怨隐含声明。

对于您的示例,可以将其修改为以下结构:

grammar test;

program : vr DOT to DOT e 
        ;
e: be
 | be DOT top DOT be
 ;
be: FG 
  | FS
  | MC 
  ;
to: N
  | A 
  | EV
  ;
vr: ER 
  | FP 
  ;
top: B
  | AF
  ;
Whitespace : [ \t\r\n]+ ->skip 
           ;

DOT : '.'
    ;

A: 'A'|'a'
 ;

AF: 'AF'|'af'
 ;
N: 'N'|'n'
 ;
MC: 'MC'|'mc'
 ;
EV:'EV'|'ev'
 ;
FS: 'FS'|'fs'
 ;
FP: 'FP'|'fp'
 ;
FG: 'FG'|'fg'
 ;
ER: 'ER'|'er'
 ;
B: 'B'|'b'
 ;

您还可以找到defaultErrorStrategy Class here的所有可用方法,并将这些方法添加到" new"错误策略实现处理您需要的任何异常。

希望这对您的项目有所帮助并祝您好运!