Antlr4如何丢弃所有无与伦比的输入

Question

我想在C源文件中添加所有preprocess语句，并忽略所有其他语句。我尝试在词法分析器中添加最后一条规则Unknown : . -> skip ; // or -> channel(HIDDEN) ;，或者在解析器中添加最后一条规则，如：ignored : . ;，但它不起作用。

这是我的语法：

grammar PreProcessStatement;


pre_if_statement
: pre_if pre_elif* pre_else? pre_endif
;

pre_if      :   PreProcessBegin 'if'    statement;
pre_endif   :   PreProcessBegin 'endif' ;
pre_else    :   PreProcessBegin 'else'  ;
pre_elif    :   PreProcessBegin 'elif'statement ;
pre_define  :   PreProcessBegin 'define' statement;
pre_undef   :   PreProcessBegin 'undef'statement    ;
pre_pragma  :   PreProcessBegin 'pragma'statement;

statement
: IDENTIFIER
| statement Condition statement
| '(' statement (Condition | Logic_or | Logic_and) statement ')'
| statement (Logic_or | Logic_and) statement
;



Logic_or
: '||'
;

Logic_and
: '&&'
;
PreProcessBegin :   '#'     ;
Condition       : '==' | '>' | '>='|  '<' | '<='    ;
NUM             : INT | HEX     ;
STRID           : '"'ID'"'  ;
IDENTIFIER      : [a-zA-Z_0-9]+ ;
ID              :   [a-zA-Z_]+ ;
INT             :   [0-9]+ ;
HEX             : '0x'INT;
WS              :   [ \t\n\r]+ -> skip ;
NewLine         : ('\n' | '\r' | '\n\r');
MulLine     : '\\' NewLine -> skip ;
Unknown : .*? -> skip ; // or -> channel(HIDDEN) ;

输入：

#if (test == ttt)
#elif rrrr
#else
aaa
#endif

错误：

line 4:0 extraneous input 'aaa' expecting '#'

我看了下面的链接，不行。 Skipping unmatched input in Antlr

我的语法出了什么问题？

Answer 1

解释

aaa输入不会与Unknown令牌匹配。它将与IDENTIFIER : [a-zA-Z_0-9]+ lexeme之前定义的Unknown令牌匹配。

解决方案

修改令牌

将Unknown lexeme定义放在其他标记之前。在此词汇中添加一个语义谓词，它将检查行中的第一个字符是否不是#个字符。如果是，则跳过整行直到NewLine令牌。

Unknown : {getCharPositionInLine() == 0 && _input.LA(1) != '#'}? .*? NewLine -> skip;

使用词法模式

当您发现#个字符时，请输入新的词法分析器模式PREPROCESSOR。这使我们从现在开始只使用PREPROCESSOR模式中定义的标记。出现新行时退出此模式。因此，当我们处于模式之外时，我们正在寻找两个令牌：PreProcessBegin（以#字符开头的行）和Unknown（没有#的行）。否则，在PREPROCESSOR模式下，我们将匹配任何其他常规语言的语句。

词法分子的例子：

PreProcessBegin : '#' -> pushMode(PREPROCESSOR); // enter mode
Unknown : .*? NewLine -> skip;                   // or skip the line

mode PREPROCESSOR; // when in PREPROCESSOR mode use defined below tokens
(...)
Condition : '==' | '>' | '>='|  '<' | '<=';
IDENTIFIER : [a-zA-Z_0-9]+ ;
ID : [a-zA-Z_]+ ;
INT : [0-9]+ ;
(...)
NewLine : ('\n' | '\r' | '\n\r') -> popMode; // exit mode