如何在ANTLR4中检查一行的第一个字符是否为“*”?

时间:2017-02-05 22:37:36

标签: parsing antlr antlr4 lexer

我正在尝试为一种相对简单但特殊的语言编写解析器。

简单地说,其中一条规则是,如果星号是该行的第一个字符,则注释行仅用星号 表示。我怎样才能在ANTLR4中正式确定这样的规则?我考虑过使用:

START_LINE_COMMENT: '\n*' .*? '\n' -> skip; 

但我确信这不会连续使用多行注释,因为最后的换行符将作为START_LINE_COMMENT标记的一部分使用,这意味着任何后续注释行都将丢失必需的初始换行符,不起作用。有没有办法我可以检查一行是否以'*'开头而不需要使用之前的'\n'

1 个答案:

答案 0 :(得分:2)

匹配评论行并不容易。当我每年写一个语法时,我不得不抓住The Definitive ANTLR Reference来恢复我的大脑。试试这个:

grammar Question;

/* Comment line having an * in column 1. */

question
    :   line+
    ;

line
//    :   ( ID | INT )+
    :   ( ID | INT | MULT )+
    ;

LINE_COMMENT
    :   '*' {getCharPositionInLine() == 1}? ~[\r\n]* -> channel(HIDDEN) ;
ID  :   [a-zA-Z]+ ;
INT :   [0-9]+ ;
//WS  :   [ \t\r\n]+ -> channel(HIDDEN) ;
WS  :   [ \t\r\n]+ -> skip ;
MULT : '*' ;

编译并执行:

$ echo $CLASSPATH
.:/usr/local/lib/antlr-4.6-complete.jar:
$ alias
alias a4='java -jar /usr/local/lib/antlr-4.6-complete.jar'
alias grun='java org.antlr.v4.gui.TestRig'
$ a4 Question.g4 
$ javac Q*.java
$ grun Question question -tokens data.txt 
[@0,0:3='line',<ID>,1:0]
[@1,5:5='1',<INT>,1:5]
[@2,9:12='line',<ID>,2:2]
[@3,14:14='2',<INT>,2:7]
[@4,16:26='* comment 1',<LINE_COMMENT>,channel=1,3:0]
[@5,32:35='line',<ID>,4:4]
[@6,37:37='4',<INT>,4:9]
[@7,39:48='*comment 2',<LINE_COMMENT>,channel=1,5:0]
[@8,51:78='* comment 3 after empty line',<LINE_COMMENT>,channel=1,7:0]
[@9,81:81='*',<'*'>,8:1]
[@10,83:85='not',<ID>,8:3]
[@11,87:87='a',<ID>,8:7]
[@12,89:95='comment',<ID>,8:9]
[@13,97:100='line',<ID>,9:0]
[@14,102:102='9',<INT>,9:5]
[@15,107:107='*',<'*'>,9:10]
[@16,109:110='no',<ID>,9:12]
[@17,112:118='comment',<ID>,9:15]
[@18,120:119='<EOF>',<EOF>,10:0]

使用以下data.text文件:

line 1
        line 2
* comment 1
    line 4
*comment 2

* comment 3 after empty line
 * not a comment
line 9    * no comment

请注意,如果解析器规则中没有MULT标记或'*',则标记中不会列出星号,但解析器会抱怨:

line 8:1 token recognition error at: '*'

如果显示解析树

$ grun Question question -gui data.txt

您将看到整个文件被一条线规则吸收。如果您需要识别线条,请更改线条和空格规则,如下所示:

line
    :   ( ID | INT | MULT )+ NL
    |   NL
    ;

//WS  :   [ \t\r\n]+ -> skip ;
NL  :   [\r\n] ;
WS  :   [ \t]+ -> skip ;