Question

我已将我的评论纳入ANTLR 4中的单独频道。就我而言，它是第2频道。

这是我的词法分析器。

COMMENT: '/*' .*? '*/' -> channel(2) 
       ;

我想访问此频道2并对此频道进行解析以累积评论。所以我把它包括在解析语法中，如下所示

comment
:COMMENT
;

在程序中

        string s = " paring string"
        AntlrInputStream input = new AntlrInputStream(s);
        CSSLexer lexer = new CSSLexer(input); 

        CommonTokenStream tokens = new CommonTokenStream(lexer,2);

然后我想在令牌上进行解析

var xr = parser.comment().GetRuleContexts<CommentContext>();

因为我想从CommentContext对象中获取信息，例如Start.Column等等。

编辑：

这是改进的问题

更具体地说，我想获取通道2中的所有标记并使用注释语法对它们进行解析，以便将所有注释添加到列表（IReadOnly<CommentContext>）中，以便我可以遍历每个标记并访问诸如起始行，起始列，结束行结束列和令牌文本之类的信息。

CommonTokenStream tokens = new CommonTokenStream(lexer,2);

这不是给我通道2中的标记。我发现的另一件事是，这些标记作为参数传递给解析器构造XParser parser = new XParser(tokens);

然后只有我可以通过调用GetTokens()来访问令牌。在tokes中，我可以看到有注释标识为令牌并位于通道2中。即使CommentTokenStrem种类为频道号如上。它包含所有令牌。

在使用令牌创建解析器对象之前，无法访问令牌的原因是什么？
我想在通道2中获得CommentTokenStrem并传递给XParser对象创建，以使用我的comment语法解析这些标记。在ANTLR 4 API中执行此操作的最佳方法是什么？

Answer 1

CommonTokenStream在内部跟踪来自任何频道的所有令牌。您在调用getTokens()时不会看到的唯一事情是执行-> skip操作的词法规则（甚至没有为这些规则创建令牌）。

您可以使用TokenStream.LT和IntStream.consume方法查看频道2上的代币。

Java示例

CommonTokenStream cts = new CommonTokenStream(tokenSource, 2);
List<Token> tokens = new ArrayList<Token>();
while (cts.LA(1) != EOF) {
    tokens.add(cts.LT(1));
    cts.consume();
}

C＃示例：

CommonTokenStream cts = new CommonTokenStream(tokenSource, 2);
IList<IToken> tokens = new List<IToken>();
while (cts.La(1) != Eof)
{
    tokens.Add(cts.Lt(1));
    cts.Consume();
}

Answer 2

这个怎么样：

 var allowedChannels = new[] { 2 }; // add more if you need to
 var tokensImInterestedIn = tokens.GetTokens().Where(token => allowedChannels.Contains(token.Channel) && token.Type != CSSLexer.Eof).ToArray();

 // if you're just interested in one particular channel
 var tokensImInterestedIn = tokens.GetTokens().Where(token => token.Channel == 2) && token.Type != CSSLexer.Eof).ToArray();

Answer 3

或者，您可以将所有其他令牌放在另一个通道中，并使用解析器的默认通道。

当然，如果您有两个解析器在不同的通道中使用令牌，那么这将不起作用。

Answer 4

ANTLR 4 C＃：

       using Antlr4.Runtime;
       ...

       MyLexer lexer = new MyLexer (inputStream);
       var tokenstream = new CommonTokenStream(lexer, TokenConstants.HiddenChannel);
       IList<IToken> tokens = new List<IToken>();

       while (tokenstream.La(1) != TokenConstants.Eof)
       {                    
                            tokens.Add(tokenstream.Lt(1));
                            tokenstream.Consume();
       }
       foreach (IToken iToken in tokens)
       {
              Console.WriteLine(" Line : {0} Text : {1} ",
                                iToken.Line,
                                iToken.Text                  
                                );
       }

访问ANTLR 4中的通道并分别解析它们

4 个答案: