Question

如果规则在antlr4中匹配，并且您获得该规则的文本，则该词法空间通常会被词法分析器删除

matching

是否可以在解析树访问者中询问＆＃34;此规则是否跳过任何空格？＆＃34;

E.g。

WS: [ \n\t\r]+ -> skip;

然后在访客中（我使用C ++）：

WS: [ \n\t\r]+ -> skip;
ALPHA: [a-z];
NUMERIC: [0-9];

myrule: (ALPHA | NUMERIC)+;

所以：

antlrcpp::Any MyVisitor::visitMyrule(dlParser::MyruleContext *ctx) {
    if (ctx->didSkipSomeWhitespace()) {
        /* There was whitespace */
    } else {
        /* There was no whitespace */
    }
    return false;
}

我已经尝试获取令牌的开始/停止索引，以便我可以将文本长度与进入它的字符数进行比较，但是停止令牌并不总是可用，如果是这些值不符合我期望的索引，并且访问构成令牌的原始输入字符似乎并不简单。

Answer 1

在这种情况下，你不应该skip这些空间代币。这样解析器就不知道它们。相反，您应该将这些空间标记放在不同的通道上（例如HIDDEN）。这样，解析器不会使用这些HIDDEN令牌，但令牌会出现在令牌流中，并且可以在您的代码中访问。

Java快速演示（我没有运行C ++）：

grammar IntList;

list
 : '[' ( list_item ( ',' list_item )* )? ']' EOF
 ;

list_item
 : INT
 ;

INT
 : '0'
 | [1-9] [0-9]*
 ;

SPACES
 : [ \t\f\r\n] -> channel(HIDDEN)
 ;

运行课程：

import org.antlr.v4.runtime.*;

public class Main {

  public static void main(String[] args) {

    String source = "[1,    2,3,\t4,5]";

    IntListLexer lexer = new IntListLexer(CharStreams.fromString(source));
    CommonTokenStream tokens = new CommonTokenStream(lexer);
    IntListParser parser = new IntListParser(tokens);

    new SpaceInspectionVisitor(tokens).visit(parser.list());
  }
}

class SpaceInspectionVisitor extends IntListBaseVisitor<Object> {

  private final CommonTokenStream tokens;

  SpaceInspectionVisitor(CommonTokenStream tokens) {
    this.tokens = tokens;
  }

  @Override
  public Object visitList_item(IntListParser.List_itemContext ctx) {
    Token previous = tokens.get(ctx.start.getTokenIndex() - 1);
    System.out.printf("token: '%s', previous == SPACES: %s\n", ctx.getText(), previous.getType() == IntListLexer.SPACES);
    return null;
  }
}

会将以下内容打印到您的控制台：

token: '1', previous == SPACES: false
token: '2', previous == SPACES: true
token: '3', previous == SPACES: false
token: '4', previous == SPACES: true
token: '5', previous == SPACES: false

如何在Antlr4中检测解析树中的空格？

1 个答案: