Question

我使用antlr 4创建了一个词法分析器来标记土耳其语自然语言文本，我需要做的是拥有一个令牌流，我可以逐个获取令牌。如果我像这样使用它，CommonTokenStream返回一个List：

ANTLRInputStream inputStream = new ANTLRInputStream(input);
TurkishLexer lexer = new TurkishLexer(inputStream);
CommonTokenStream tokenStream = new CommonTokenStream(lexer);
List<Token> tokens = tokenStream.fill();
for (Token token : token) ...

但是我不想构建一个令牌列表，因为我的输入可能很大，我只想要这样的东西：

for (Token token: tokenStream.next()) ...

在获得EOF令牌之前我会迭代。

是否有令牌流允许我迭代令牌？

Answer 1

您可以简单地使用CommonTokenStream。

，而不是使用Lexer.nextToken

for (Token token = lexer.nextToken();
     token.getType() != Token.EOF;
     token = lexer.nextToken())
{
    ...

如何使用antlr 4 TokenStream作为可迭代流？

1 个答案: