解析单行注释

Question

我正在尝试编写用于解析单行注释的语法。以“ - ”开头的注释可以出现在文件的任何位置。

我的基本语法如下所示。

语法（aa.g4）：

grammar aa;

statement
    :   commentStatement* ifStatement
    |   commentStatement* returnStatement
    ;
ifStatement
    :   'if' '(' expression ')'
        returnStatement+
    ;

returnStatement  :   'return' expression ';' ;
commentStatement :   '--' (.+?) '\\n'? ;
expression       :   IDENTIFIER ;

IDENTIFIER       :   [a-z]([A-Za-z0-9\-\_])* ;
NEWLINE          :   '\r'? '\n'    -> skip ;
WS               :   [ \t\r\f\n]+ -> skip ;

测试类：

public class aaTest {
    static class aaListener extends aaBaseListener {
        public void enterCommentStatement(CommentStatementContext ctx) {
            System.out.println(ctx.getText());
        }
    }

    public static void main(String[] args) throws Exception {
        InputStream is = new FileInputStream("aa.txt");
        CharStream stream = new ANTLRInputStream(is);
        aaLexer lexer = new aaLexer(stream);
        TokenStream tokenStream = new CommonTokenStream(lexer);
        aaParser parser = new aaParser(tokenStream);
        ParseTree aParseTree = parser.statement();
        ParseTreeWalker aWalker = new ParseTreeWalker();
        aWalker.walk(new aaListener(), aParseTree);;
    }
}

输入：

--comment1
-- if comment
if (x) --mid if comment
  --end comment
return result;

输出：

--comment1a
--ifcommentif(x)     <<< error output
--midifcomment
--endcomment

查询：

1. 解析上面的错误输出有什么问题。我只需要“ - 如果 评论“待印刷。
2. 如何获取并输出带空格的实际评论。

Answer 1

首先，您应该定义您的行评论规则，因为您真正的意思。非贪婪的运算符没有按照您的意图执行。

LineComment
  : '--' ~[\r\n]* -> channel(HIDDEN)
  ;

其次，如果您希望令牌流包含有关空格和换行符的信息，则应将它们移动到隐藏通道而不是使用skip命令。 skip命令完全删除了令牌，使得它看起来好像文本根本就不在输入中。

NEWLINE
  : '\r'? '\n' -> channel(HIDDEN)
  ;

WS
  : [ \t\f]+ -> channel(HIDDEN)
  ;

注释不会出现在解析树中，并且您不会在任何解析器规则中使用LineComment。要在解析树中的另一个标记之前或之后获取有关这些标记的信息，您可以直接检查特定索引周围的标记（使用TokenStream.get(int)）或使用BufferedTokenStream.getHiddenTokensToRight或{{3}等实用方法检查标记}。