Question

Lexer文件代码如下：

lexer grammar CreateLexer;

CREATE
   : 'create' | 'CREATE'
   ;

NUMBER_OF_SHARDS:'number_of_shards' | 'NUMBER_OF_SHARDS';


NUMBER_OF_REPLICAS:'number_of_replicas' | 'NUMBER_OF_REPLICAS';


ID
  : ( 'a' .. 'z' | 'A' .. 'Z' | '_' | '\u4e00' .. '\u9fa5' | '-')+
  ;


INT
  : [0-9]+
  ;


NEWLINE
  : '\r'? '\n' -> skip
  ;


WS
  : [\t\r\n]+ -> skip
  ;


INDEX
  : 'index' | 'INDEX'
  ;

TABLE:'table';

和解析器文件代码如下：

parser grammar CreateParser;

options
   { tokenVocab = CreateLexer; }
stat
   : create_clause
   ;

create_clause
   : CREATE INDEX index_name shards? replicas?
   ;

index_name
   : (ID)*(INT)*
   ;

shards
   : NUMBER_OF_SHARDS INT
   ;

replicas
   : NUMBER_OF_REPLICAS INT
   ;

这是我的测试代码演示了我如何使用上面的模块：

String sql = "create index A number_of_shards 1 number_of_replicas 1";
CreateLexer createLexer = new CreateLexer(new ANTLRInputStream(sql));
createLexer.removeErrorListeners();

CreateParser parser = new CreateParser(new CommonTokenStream(createLexer));
ParseTree tree = parser.stat();
System.out.println(tree.toStringTree(parser));

当我运行上面的测试代码时，我收到了一个错误：

line 1:7 missing INDEX at 'index'
(stat (create_clause create <missing INDEX> (index_name index A) (shards number_of_shards 1) (replicas number_of_replicas 1)))

我更换了＆＃39; INDEX＆＃39;用＆＃39; TABLE＆＃39; at＆＃39; create_clause＆＃39;在paser文件中，替换了＆＃39; index＆＃39;用表＆＃39;表＆＃39;在测试代码中：

测试代码：

String sql = "create table A number_of_shards 1 number_of_replicas 1";

paser文件：

create_clause
   : CREATE TABLE index_name shards? replicas?
   ;

我再次运行它，它仍然有同样的错误：

line 1:7 missing 'table' at 'table'
(stat (create_clause create <missing 'table'> (index_name table A) (shards number_of_shards 1) (replicas number_of_replicas 1)))

但是，在我删除解析器文件中的关键字 TABLE 后，如下所示：

create_clause
   : CREATE index_name shards? replicas?
   ;

发生了奇怪的事情，我没有收到任何错误：

(stat (create_clause create (index_name table A) (shards number_of_shards 1) (replicas number_of_replicas 1)))

任何人都可以告诉我为什么SQL语句喜欢＆＃39; CREATE TABLE＆＃39;无法解析？我想念什么吗？提前谢谢！

Answer 1

Antlr通常首先根据文本匹配长度匹配词法规则，然后根据语法中的顺序进行匹配。因此，您的INDEX和TABLE规则永远不会匹配。相反，文本以ID标记呈现。

通过删除明确INDEX令牌的要求，您删除了错误原因。

作为一般规则，始终转储令牌流，以便您可以看到词法分析器实际执行的操作。

使用ANTLR4解析SQL CREATE TABLE语句

1 个答案: