Question

我正在尝试在ANTLR4之上构建某种自动完成工具，我遇到了一个问题（可能是我的理解）。我正在使用ErrorListener并尝试从RecognitionException对象获取适用的令牌，但这种方法并不是一直有效。

我有一个语法：

grammar WhereClause;

USER_NAME_COLUMN: 'user_name' ;
USER_AGE_COLUMN: 'user_age';
EQ : '=' ;
LTH : '<' ;
GTH : '>' ;
WS : ( ' ' | '\t' )+ -> skip ;


stringColumn: USER_NAME_COLUMN ;
numericColumn: USER_AGE_COLUMN;
stringRelationalOperator: EQ ;
numericRelationalOperator: EQ | LTH | GTH ;
expression: stringColumn stringRelationalOperator stringColumn | numericColumn numericRelationalOperator numericColumn ;

还有一些简单的测试：

public static void main(String... args) {
    String data = "user_name = user_name";
    for (int i = 1; i <= data.length(); i++) {
        String input = data.substring(0, i);
        System.out.println("===========================");
        System.out.println(">> " + input + "");
        parse(input);
    }
}

private static void parse(String input) {
    ANTLRInputStream inputStream = new ANTLRInputStream(input);
    WhereClauseLexer lexer = new WhereClauseLexer(inputStream);
    CommonTokenStream tokens = new CommonTokenStream(lexer);
    WhereClauseParser parser = new WhereClauseParser(tokens);
    lexer.removeErrorListeners();
    parser.removeErrorListeners();
    parser.addErrorListener(new ANTLRErrorListener() {
        @Override
        public void syntaxError(Recognizer<?, ?> recognizer, Object o, int i, int i1, String s, RecognitionException e) {
            Vocabulary vocabulary = recognizer.getVocabulary();
            if (e != null) {
                e.getExpectedTokens().getIntervals().forEach(interval -> {
                    for (int j = interval.a; j <= interval.b; j++) {
                        System.out.println(vocabulary.getDisplayName(j));
                    }
                });
            }
        }

        @Override
        public void reportAmbiguity(Parser parser, DFA dfa, int i, int i1, boolean b, BitSet bitSet, ATNConfigSet atnConfigSet) {}
        @Override
        public void reportAttemptingFullContext(Parser parser, DFA dfa, int i, int i1, BitSet bitSet, ATNConfigSet atnConfigSet) {}
        @Override
        public void reportContextSensitivity(Parser parser, DFA dfa, int i, int i1, int i2, ATNConfigSet atnConfigSet) {}
    });
    parser.expression();
}

结果我得到了以下输出：

===========================
>> u
'user_name'
'user_age'
===========================
>> us
'user_name'
'user_age'
===========================
>> use
'user_name'
'user_age'
===========================
>> user
'user_name'
'user_age'
===========================
>> user_
'user_name'
'user_age'
===========================
>> user_n
'user_name'
'user_age'
===========================
>> user_na
'user_name'
'user_age'
===========================
>> user_nam
'user_name'
'user_age'
===========================
>> user_name
'='
===========================
>> user_name 
'='
===========================
>> user_name =
===========================
>> user_name = 
===========================
>> user_name = u
===========================
>> user_name = us
===========================
>> user_name = use
===========================
>> user_name = user
===========================
>> user_name = user_
===========================
>> user_name = user_n
===========================
>> user_name = user_na
===========================
>> user_name = user_nam
===========================
>> user_name = user_name

这意味着我没有获得正确的相等部分的预期令牌。有人知道原因吗？是否可以知道哪个令牌（令牌）应该跟随输入线？

Answer 1

使用错误位置进行代码完成效果不佳。如果插入符号位置和错误位置不能确定怎么办？此外，这种简单的方法只会为您提供预期的关键字令牌，但通常您需要更多（例如，给定位置的所有可用变量）。所以你需要一个符号表，你需要一种方法来确定在给定位置预期的符号类型等。

使用解析器获取代码完成候选者效果不佳。请记住，解析器访问与输入匹配的单个路径，但您需要所有可能的路径。

在this blog post中，我描述了使用ANTLR3的可能方法，并且我正在为ANTLR4工作。另一项尝试由Federico Tomassetti发布。它仍然只返回关键字，但至少它没有使用解析器。

以下是Terence Parr关于提供返回所有跟随集的函数的讨论：https://github.com/antlr/antlr4/issues/1428

使用ANTLR4可以确定适用于某个位置的令牌类型吗？

1 个答案: