Question

将skip添加到规则中并不符合我的预期。这是一对由逗号和空格分隔的标记的语法。我制作了一个版本，其中逗号标记为skip，而另一个版本则不是：

grammar Commas;

COMMA:          ', ';
COMMASKIP:      ', ' -> skip;
DATA:           ~[, \n]+;

withoutSkip:    data COMMA data '\n';
withSkip:       data COMMASKIP data '\n';
data:           DATA;

在没有skip的情况下测试规则按预期工作：

$ echo 'a, b' | grun Commas withoutSkip -tree
(withoutSkip (data a) ,  (data b) \n)

skip给我一个错误：

$ echo 'a, b' | grun Commas withSkip -tree
line 1:1 mismatched input ', ' expecting COMMASKIP
(withSkip (data a) ,  b \n)

如果我注释掉了COMMA和withoutSkip规则，我就会明白这一点：

$ echo 'a, b' | grun Commas withSkip -tree
line 1:3 missing ', ' at 'b'
(withSkip (data a) <missing ', '> (data b) \n)

我正在尝试获取只有数据令牌而没有逗号的输出，如下所示：

(withSkip (data a) (data b) \n)

我做错了什么？

Answer 1

skip导致词法分析器丢弃令牌。因此，skip ped lexer规则不能用于解析器规则。

另一方面，如果两个或多个规则匹配相同的输入，则首先定义的规则将从语法中稍后定义的规则中“获胜”，无论解析器是否尝试匹配稍后在语法，第一条规则总是“赢”。在您的情况下，永远不会创建规则COMMASKIP，因为COMMA匹配相同的输入。

尝试这样的事情：

语法逗号;

COMMA : ',' -> skip;
SPACE : (' '|'\n') -> skip;
DATA  : ~[, \n]+;

data  : DATA+;

修改

那么如何在不将其包含在解析树中的情况下指定逗号的位置？您的代码将匹配a，b。

你没有，所以如果逗号很重要（即。a,,b）无效，则不能从词法分析器中跳过它。

我认为在antlr3中你应该使用感叹号。

在ANTLR 4中，您无法从解析中创建AST。在新版本中，所有终端/规则都在一个解析树中。您可以使用自定义访问者和/或侦听器迭代此树。有关如何执行此操作的演示，请参阅此问答：Once grammar is complete, what's the best way to walk an ANTLR v4 tree?

在你的情况下，语法看起来像这样：

grammar X;

COMMA : ',';
SPACE : (' '|'\n') -> skip;
DATA  : ~[, \n]+;

data  : DATA (COMMA DATA)*;

然后创建一个这样的监听器：

public class MyListener extends XBaseListener {

    @Override
    public void enterData(XParser.DataContext ctx) {

        List dataList = ctx.DATA(); // not sure what type of list it returns...
        // do something with `dataList`
    }
}

如您所见，COMMA未被移除，但在enterData(...)内，您只能使用DATA代币。

“skip”更改解析器行为

1 个答案:

修改