ANTLR - 使用谓词插入令牌

时间:2013-12-16 19:00:24

标签: antlr lexer predicates

我试图了解ANTLR谓词。为此, 我有一个简单的词法分析器和解析器,如下所示。

我想要做的是每次看到“foo”后跟一些空格然后“bar”时使用谓词插入单词“fubar”。我想在保持相同的基本结构的同时做到这一点。在词法分析器中执行此操作的加分点。如果我可以在不参考基础语言的情况下完成,则可以获得更多奖励积分。但如果有必要,它就是C#。

例如,如果输入字符串是:

programmers use the words foo bar and bar foo class

输出将是

programmers use the words foo fubar bar and bar foo class

词法:

lexer grammar TextLexer;

@members
{
    protected const int EOF = Eof;
    protected const int HIDDEN = Hidden;
}

FOO: 'foo';
BAR: 'bar';
TEXT: [a-z]+ ;

WS
    :   ' ' -> channel(HIDDEN)
    ;

分析器:

parser grammar TextParser;

options { tokenVocab=TextLexer; }

@members
{
    protected const int EOF = Eof;
}

file: words EOF;

word:FOO
|BAR
|TEXT;

words: word
| word words
;

compileUnit
    :   EOF
    ;

1 个答案:

答案 0 :(得分:1)

在这种情况下,ANTLR3的词法分析器可能需要一个谓词,但ANTLR4的词法分析器更“智能”。您可以在单个词法分析器规则中匹配“foo bar”,并使用setText(...)更改其内部文本:

FOO_BAR
 : 'foo' [ \t]+ 'bar' {setText("fubar");}
 ;

TEXT
 : [a-z]+ 
 ;

WS
 : ' ' -> channel(HIDDEN)
 ;