Question

下面的词法分析器语法包含两组规则：（1）用于标记CSV格式输入的规则，以及（2）用于标记键/值格式输入的规则。对于（1）我将令牌放在通道（0）上。对于（2）我将令牌放在通道（1）上。你看到我的词法分析器语法有什么问题吗？

下面是解析器语法，它还包含两组规则：（1）将CSV令牌构造成解析树的规则，以及（2）将键/值令牌构造成解析树的规则。你看到我的解析器语法有什么问题吗？

当我将ANTLR应用于语法文件时，编译，然后使用此CSV输入运行测试装备（使用-gui标志）：

FirstName, LastName, Street, City, State, ZipCode
Mark,, 4460 Stuart Street, Marion Center, PA, 15759

解析树完全错误 - 树不包含任何数据。我不知道为什么解析树是错误的。有什么建议？我已经分别测试了每个部分（从词法分析器和解析器语法中删除了键/值规则并使用CSV输入运行它，从词法分析器和解析器语法中删除了CSV规则并使用键/值输入运行它）并且它工作正常。

Lexer Grammar

lexer grammar MyLexer;      

COMMA  : ','            -> channel(0) ;
NL     : ('\r')?'\n'    -> channel(0) ;
WS     : [ \t\r\n]+     -> skip, channel(0) ;
STRING : (~[,\r\n])+     -> channel(0) ;            

KEY       : ('FirstName' | 'LastName')  -> channel(1) ;
EQ        : '='                         -> channel(1) ;
NL2       : ('\r')?'\n'                 -> channel(1) ;
WS2       : [ \t\r\n]+                  -> skip, channel(1) ;
VALUE     : (~[=\r\n])+                  -> channel(1) ;

Parser Grammar

parser grammar MyParser;                

options { tokenVocab=MyLexer; }         

csv       : (header rows)+ EOF ;
header    : field (COMMA field)* NL ;
rows      : (row)* ;    
row       : field (COMMA field)* NL ;
field     : STRING | ;

keyValue  : pairs EOF ;
pairs     : (pair)+ ;
pair      : key EQ value NL2;
key       : KEY ;
value     : VALUE ;

Answer 1

最长的令牌匹配获胜，如果两个匹配大小相同，则第一个匹配。这意味着：

STRING包含KEY，EQ和VALUE，您永远不会获得后者类型的代币。

ANTLR解析器需要在令牌流上进行随机访问，因此不允许上下文敏感的lexing。

我建议将两个lexer语法放入单独的语法中。使用常见的解析器语法可能会变得棘手。如果是这样 - 也将解析器语法分开。

ANTLR4：两个通道，一个用于CSV格式的数据，一个用于键/值格式的数据 - 不起作用

1 个答案: