Question

我正在尝试在ANTLR中创建一个简单的预处理器。我的语法看起来像这样：

grammar simple_preprocessor;

ifdef_statement : POUND_IFDEF IDENTIFIER ;
else_statement : POUND_ELSE ;
endif_statement : POUND_ENDIF ;

preprocessor_statement :
    ifdef_statement
        code_block
    else_statement
        code_block
    endif_statement
    ;

code_file : (preprocessor_statement | code_block)+ EOF ;

code_block : TEXT ;

POUND_IFDEF : '#IFDEF';
POUND_ELSE : '#ELSE';
POUND_ENDIF : '#ENDIF';

IDENTIFIER : ID_START ID_CONTINUE* ;

TEXT : ~[\u000C]+ ;

fragment ID_START : '_' | [A-Z] | [a-z] ;
fragment ID_CONTINUE : ID_START | [0-9] ;

WS  :  [ \t\r\n\u000C]+ -> channel(HIDDEN) ;

然后我使用code_file（）规则解析以下内容：

#IFDEF one
    print "1"
#ELSE
    print "2"
#ENDIF

字符串树如下所示：

(code_file (code_block \n#IFDEF one\n    print "1"\n#ELSE\n    print "2"\n#ENDIF\n) <EOF>)

不是我想要的，因为预处理器令牌被视为文本并与code_block规则匹配。

我在ANTLR书中读到了“Stream in the Stream”一章，XML示例很有意义，但它依赖于TEXT不包含两个特定字符：

TEXT : ~[<&]+ ;

如果我真的需要，我想我可以排除＃字符：

TEXT : ~[#]+ ;

但我希望有更好的方法告诉ANTLR排除我的预处理器令牌，这样就可以将它们与通用代码区分开来。

感谢您的帮助。

Answer 1

使用词法模式将预处理程序指令与基本语法的普通文本定义分开。使用\n#和下一个\n作为模式警卫。

PStart : '\n#' -> channel(HIDDEN), pushMode(PreProc) ;

mode PreProc ;

PIFDEF : 'IFDEF' PTEXT* ;
PELSE  : 'ELSE'  ;
PENDIF : 'ENDIF' ;
PTEXT  : [a-zA-Z0-9_-]+ ;
PEOL   : [\r\n]+       -> channel(HIDDEN), popMode ;
PWS    : [ \t]+        -> channel(HIDDEN) ;
// maybe PCOMMENT ?

更新 - 将指令的全文合并为单个令牌：

PIFDEF : 'IFDEF' PTEXT* PEOL -> popMode ;
PELSE  : 'ELSE'  PEOL -> popMode ;
PENDIF : 'ENDIF' PEOL -> popMode ;

PTEXT  : [ \ta-zA-Z0-9_-]+ ;
PEOL   : [\r\n]  ;

这通常不是您想要的方向 - 通常您希望获得更大的分解而不是更少。例如，在生成可见EOL时可能会更好。

mode PreProc ;

PIFDEF : 'IFDEF' ;
PELSE  : 'ELSE'  ;
PENDIF : 'ENDIF' ;
PTEXT  : [a-zA-Z0-9_-]+ ;
PEOL   : '\r'? '\n'    -> popMode ;
PWS    : [ \t]+        -> channel(HIDDEN) ;
PCMT   : '//' ~[\r\n]* -> channel(HIDDEN) ;

这样，preproc命令令牌是离散的，并且一个或多个PTEXT的序列仅包含preproc标识符。发送PEOL似乎是多余的，但不一定是错误的。解析器规则证明：

preproc : ifdef | else | endif ;
ifdef   : PIFDEF PTEXT+ PEOL   ; // the rules are unambiguous
else    : PELSE  PEOL          ; // even without matching the PEOLs
endif   : PENDIF PEOL          ;

简单的ANTLR预处理器

1 个答案: