Question

我有以下语法：

myg                : line+ EOF ;

line                : ( command params | for_loop ) NEWLINE;

for_loop : 'for' WORD INT 'do'  NEWLINE stmt_body;

stmt_body: line+ 'end';

params              : ( param | WHITESPACE)*;

param                : WORD | INT;

command             : WORD;

fragment LOWERCASE  : [a-z] ;
fragment UPPERCASE  : [A-Z] ;
fragment DIGIT : [0-9] ;

WORD                : (LOWERCASE | UPPERCASE | DIGIT | [_."'/\\-])+ (DIGIT)* ;
INT : DIGIT+ ;
WHITESPACE          : (' ' | '\t')+ ;
NEWLINE             : ('\r'? '\n' | '\r')+ ;

尝试以下操作时：

>java org.antlr.v4.gui.TestRig Myg myg -tokens
command with parameter for 90 seconds
^Z
[@0,0:6='command',<WORD>,1:0]
[@1,7:7=' ',<WHITESPACE>,1:7]
[@2,8:11='with',<WORD>,1:8]
[@3,12:12=' ',<WHITESPACE>,1:12]
[@4,13:21='parameter',<WORD>,1:13]
[@5,22:22=' ',<WHITESPACE>,1:22]
[@6,23:25='for',<'for'>,1:23]
[@7,26:26=' ',<WHITESPACE>,1:26]
[@8,27:28='90',<WORD>,1:27]
[@9,29:29=' ',<WHITESPACE>,1:29]
[@10,30:36='seconds',<WORD>,1:30]
[@11,37:38='\r\n',<NEWLINE>,1:37]
[@12,39:38='<EOF>',<EOF>,2:0]
line 1:23 missing NEWLINE at 'for'
line 1:26 extraneous input ' ' expecting WORD
line 1:29 mismatched input ' ' expecting {WORD, INT, WHITESPACE, NEWLINE}

由于我不明白的原因，“ for”与“ for”匹配，因为我期望“ command”规则应该与整个输入行匹配，因为规则应该与最大输入匹配。

或者换句话说，命令规则应该是贪婪的并且与整行匹配。

for_loop也是一个解析器规则（以小写字母开头），那么为什么在令牌生成期间却没有忽略它？

Answer 1

您的command规则与单个WORD令牌匹配，因此问题就变成了为什么WORD与整行不匹配。答案是WORD不匹配空格，因此只能匹配第一个空格，而不匹配整个规则。但是'for'还会匹配第一个空格，并且当两个规则产生相同长度的匹配项时，文字会优先。

for_loop也是一个解析器规则（以小写字母开头），那么为什么在令牌生成期间却没有忽略它？

for_loop是一个解析器规则（在词法分析中确实被忽略了-您在输出中不会看到任何for_loop标记），但'for'不是。所有文字都是词法分析器规则（否则它们将永远不匹配）。

为什么规则与最大输入不匹配？

1 个答案: