antlr4无法将文字提取到令牌中

时间:2017-10-02 14:33:15

标签: antlr4 lexer

我有以下语法,我试图慢慢开始,努力移动复杂的论点。

grammar Command;

commands : command+ EOF; 
command : NAME args NL;
args : arg | ;

arg : DASH LOWER | LOWER;
//arg : DASH 'a' | 'x';

NAME : [_a-zA-Z0-9]+;
NL : '\n';
WS : [ \t\r]+ -> skip ; // spaces, tabs, newlines
DASH : '-';
LOWER: [a-z];//'a' .. 'z';

我希望(现在)解析这样的文件:

cmd1
cmd3 -a

如果我通过grun运行该输入,则会出现错误:

$ java org.antlr.v4.gui.TestRig Command commands -tree
...
`line 3:6 mismatched input 'a' expecting LOWER`

似乎LOWER应匹配'a'。如果我将arg定义更改为注释掉的行,它可以正常工作,我将'-a'作为arg。使用LOWER和明确使用'a'之间有什么区别?

1 个答案:

答案 0 :(得分:1)

一旦你有一个"不匹配"错误,添加-tokens以显示令牌,它有助于找出你认为词法分析者将做什么与实际做什么之间的差异。用你的语法:

$ alias grun='java org.antlr.v4.gui.TestRig'
$ grun Command commands -tokens -diagnostics t.text
[@0,0:3='cmd1',<NAME>,1:0]
[@1,4:4='\n',<'
'>,1:4]
[@2,5:8='cmd3',<NAME>,2:0]
[@3,10:10='-',<'-'>,2:5]
[@4,11:11='a',<NAME>,2:6]
[@5,12:12='\n',<'
'>,2:7]
[@6,13:12='<EOF>',<EOF>,3:0]
line 2:6 mismatched input 'a' expecting LOWER

您立即看到字母aNAME而不是预期的LOWER

同时观看空的替代规则:

args
    :   arg
    |
    ;
在某些情况下,

可能会导致问题。我更喜欢明确添加?后缀,这意味着零或一次。所以我的解决方案是:

grammar Command;

commands
@init {System.out.println("Question last update 1829");}
    :   command+ EOF
    ; 

command
    :   NAME args? NL
    ;

args
    :   arg
    ;

arg : DASH? LOWER ;

LOWER : [a-z] ;
NAME  : [_a-zA-Z0-9]+;
DASH  : '-' ;
NL    : '\n' ;
WS    : [ \t\r]+ -> skip ;

执行:

$ grun Command commands -tokens -diagnostics t.text
[@0,0:3='cmd1',<NAME>,1:0]
[@1,4:4='\n',<'
'>,1:4]
[@2,5:8='cmd3',<NAME>,2:0]
[@3,10:10='-',<'-'>,2:5]
[@4,11:11='a',<LOWER>,2:6]
[@5,12:12='\n',<'
'>,2:7]
[@6,13:12='<EOF>',<EOF>,3:0]
Question last update 1829