Question

具体来说，我正在尝试在ANTLR中实现一个RegExp解析器。

以下是我语法的相关部分：

grammar JavaScriptRegExp;
options {
    language = 'CSharp3';
}

tokens {
    /* snip */
    QUESTION = '?';
    STAR = '*';
    PLUS = '+';
    L_CURLY = '{';
    R_CURLY = '}';
    COMMA = ',';
}

/* snip */

quantifier returns [Quantifier value]
    :   q=quantifierPrefix QUESTION?
        {
            var quant = $q.value;
            quant.Eager = $QUESTION == null;
            return quant;
        }
    ;

quantifierPrefix returns [Quantifier value]
    :   STAR { return new Quantifier { Min = 0 }; }
    |   PLUS { return new Quantifier { Min = 1 }; }
    |   QUESTION { return new Quantifier { Min = 0, Max = 1 }; }
    |   L_CURLY min=DEC_DIGITS (COMMA max=DEC_DIGITS?)? R_CURLY
        {
            var minValue = int.Parse($min.Text);
            if ($COMMA == null)
            {
                return new Quantifier { Min = minValue, Max = minValue };
            }
            else if ($max == null)
            {
                return new Quantifier { Min = minValue, Max = null };
            }
            else
            {
                var maxValue = int.Parse($max.Text);
                return new Quantifier { Min = minValue, Max = maxValue };
            }
        }
    ;

DEC_DIGITS
    :   ('0'..'9')+
    ;

/* snip */

CHAR
    :   ~('^' | '$' | '\\' | '.' | '*' | '+' | '?' | '(' | ')' | '[' | ']' | '{' | '}' | '|')
    ;

现在，在大括号的INSIDE中，我想将'，'标记为COMMA，但是OUTSIDE，我想将其标记为CHAR。

这可能吗？

这不是发生这种情况的唯一情况。我将有许多其他情况，这是一个问题（十进制数字，字符类中的连字符等）

编辑：

我知道这被称为上下文敏感的lexing。 ANTLR可以实现吗？

Answer 1

这称为上下文敏感的lexing。 ANTLR可以实现吗？

不，解析器无法“告诉”它需要处理的词法分析器，比如说，在解析过程中某个时间点不同的数字。单词词法分析器中可能存在一些上下文敏感的lexing，但解析器不能影响词法分析器。

但是，可以使用一些额外的解析器规则轻松解决它。例如，在匹配字符类（[ ... ]）时，您使用的解析器规则匹配字符类中的有效内容：

char_class
 : LBRACK char_class_char+ RBRACK
 ;

// ...

char_class_char
 : LBRACK // the '[' is not special inside a character class!
 | LBRACE // the '{' is not special inside a character class!
 | RBRACE // the '}' is not special inside a character class!
 | PLUS   // the '+' is not special inside a character class!
 | STAR   // the '*' is not special inside a character class!
 | QMARK  // the '?' is not special inside a character class!
 | COMMA
 | DIGIT
 | OTHER
 ;

一个小型演示：

grammar T;

parse
 : atom* EOF
 ;

atom
 : unit quantifier?
 ;

unit
 : char_class
 | single_char
 ;

quantifier
 : greedy (PLUS | QMARK)?
 ;

greedy
 : PLUS
 | STAR
 | QMARK
 | LBRACE (number (COMMA number?)?) RBRACE
 ;

char_class
 : LBRACK char_class_char+ RBRACK
 ;

number
 : DIGIT+
 ;

single_char
 : DIGIT
 | COMMA
 | RBRACE
 | RBRACK // this is only special inside a character class
 | OTHER
 ;

char_class_char
 : LBRACK
 | LBRACE
 | RBRACE
 | PLUS
 | STAR
 | QMARK
 | COMMA
 | DIGIT
 | OTHER
 ;

LBRACK : '[';
RBRACK : ']';
LBRACE : '{';
RBRACE : '}';
PLUS   : '+';
STAR   : '*';
QMARK  : '?';
COMMA  : ',';
DIGIT  : '0'..'9';
OTHER  : . ;

将解析输入"[+*]{5,20}?A*+"，如下所示：

enter image description here

可以在这里找到更完整的PCRE语法：https://github.com/bkiers/PCREParser（可以找到语法here）

修改

它，我更愿意将“，”标记为花括号中的COMMA，但将其标记为CHAR外部。我现在将使用解决方法，但这可能吗？

不，就像我说的那样：词法分析器不会影响词法分析器。如果你想要这个，你应该去PEG而不是ANTLR。使用ANTLR，lexing和parsing之间只有一个严格的分离：你无法做任何事情。

但是，您只需更改解析器规则中匹配的令牌类型即可。每个解析器规则都有一个$start和$end标记，表示它匹配的第一个和最后一个标记。由于char_class_char（和single_char）将始终匹配单个令牌，因此您可以更改规则的@after块中的令牌类型，如下所示：

single_char
@after{$start.setType(CHAR);}
 : DIGIT
 | COMMA
 | RBRACE
 | RBRACK // this is only special inside a character class
 | OTHER
 ;

char_class_char
@after{$start.setType(CHAR);}
 : LBRACK
 | LBRACE
 | RBRACE
 | PLUS
 | STAR
 | QMARK
 | COMMA
 | DIGIT
 | CHAR
 ;

// ...

CHAR : . ;

导致你所追求的行为（我猜）。

HTH

Answer 2

可以使用词法分析器中的门控语义谓词来执行此操作。在下面的代码'，'仅当isComma为真时才匹配COMMA规则。否则它将匹配CHAR提供的CHAR在语法中出现在COMMA之后。我不知道CSharp，所以我不能给出一个完整的例子。

L_CURLY : '{' {setComma();};
R_CURLY : '}' {clearComma();};
COMMA : {isComma}? => ',';

显然，如果在不同的上下文中使用花括号，这可能不起作用。我建议避免以这种方式使用词法分析器，除非它真的弄乱了解析器。

ANTLR：我可以'，'在一个上下文中是一个令牌，在所述上下文之外是另一个吗？

2 个答案:

修改