允许我的antlr语法标记中的空格

Question

我是antlr的新手，正在为DSL编写一个antlr语法。我已经跳过了空格来处理它。但是有一种情况我可以选择让我的语法拿起一个可能有空格的特定标记。我想在这里完成的事情是

1. Token SECATTR 有空格，带有修剪的尾部和前导空格。这就像是 aa aa_aa aa.aa aa_aa aa 在解析规则中使用时，作为单个标记读取而没有前导空格 排序COUNT(aa aa_aa aa.aa aa_aa aa )>10的 singlerule 。 到目前为止，正在形成的树就像

2. 解决在我的解析规则中有空格的问题，例如 singlerule COUNT (aa aa_aa aa.aa aa_aa aa)>10在 COUNT之后由于空格而引发错误，如

3. 避免对我的令牌 SECATTR 进行笨拙的解析（如果可以实现），因为它目前正在通过以下方式解析 aa aa_aa aa.aa aa_aa aa （我认为这是所有问题的根本原因

我需要仔细处理所有这些空格，因为我的其他解析规则 expr 很复杂且基于 singlerule ，我的最终目标是让干净的方式允许标记化 SECATTR 的空格和所有其他地方的空格都被忽略。请建议我哪里出错，哪些需要改进。

grammar Test;

options {
  language = Java;
}


fragment DIVIDE : '/';
fragment PLUS : '+';
fragment MINUS : '-';
fragment STAR : '*';
fragment MOD : '%';
LPAREN : '(';
RPAREN : ')';
fragment COMMA : ',';
fragment COLON : ':';
fragment LANGLEBRACKET : '<';
fragment RANGLEBRACKET : '>';
fragment EQ : '=';
fragment NOT : '!';
fragment UNDERSCORE : '_';
fragment DOT : '.';
fragment GRTRTHANEQTO : RANGLEBRACKET EQ;
fragment LESSTHANEQTO : LANGLEBRACKET EQ;
fragment NOTEQ       : NOT EQ;

WS       :           ('\t'|'\f'|'\n'|'\r'|' ')+{ $channel=HIDDEN; };

fragment A:('a'|'A');
fragment B:('b'|'B');
fragment C:('c'|'C');
fragment D:('d'|'D');
fragment E:('e'|'E');
fragment F:('f'|'F');
fragment G:('g'|'G');
fragment H:('h'|'H');
fragment I:('i'|'I');
fragment J:('j'|'J');
fragment K:('k'|'K');
fragment L:('l'|'L');
fragment M:('m'|'M');
fragment N:('n'|'N');
fragment O:('o'|'O');
fragment P:('p'|'P');
fragment Q:('q'|'Q');
fragment R:('r'|'R');
fragment S:('s'|'S');
fragment T:('t'|'T');
fragment U:('u'|'U');
fragment V:('v'|'V');
fragment W:('w'|'W');
fragment X:('x'|'X');
fragment Y:('y'|'Y');
fragment Z:('z'|'Z');


OP1   : ((C O U N T | A V G | C O U N T D I S T I N C T) 
      | C A S T) ;

OP2   : DIVIDE|PLUS|MINUS|STAR|MOD
      |LANGLEBRACKET|RANGLEBRACKET|EQ|GRTRTHANEQTO|LESSTHANEQTO|NOTEQ
      |E Q U A L S | L I K E | N O T E Q U A L S | N O T L I K E | N O T N U L L;

OP3   : ((C O R R E S P O N D I N G | A N Y)|I);
OP4   : (A N D | O R);

DIGIT    :    ('0'..'9')+;
fragment Letter   : ('a'..'z' | 'A'..'Z')+;
fragment Space    : ' '+;
SECATTR  :Letter (Letter|UNDERSCORE|DOT|Space)+
         ;


singlerule    : SECATTR  OP2 (DIGIT|Letter)
              | OP1 LPAREN  SECATTR RPAREN OP2  (DIGIT|Letter)
              | SECATTR OP2 SECATTR
              | OP1 LPAREN SECATTR RPAREN  OP2 OP1 LPAREN SECATTR RPAREN
;
expr    :((LPAREN? singlerule RPAREN?) OP4?)+
        |((LPAREN (LPAREN singlerule RPAREN) OP4 (LPAREN singlerule RPAREN) RPAREN)+ (OP4 (LPAREN? singlerule RPAREN?))+ OP4?)+
        | (LPAREN (LPAREN singlerule RPAREN) OP4 (LPAREN singlerule RPAREN) RPAREN OP3)+;

Answer 1

ANTLR 3和4具有称为令牌通道的功能。您可以将您的空白/评论等发送到不同频道的解析器。它们位于令牌流中供使用，但未被解析器解析。