修改

Question

我使用ANTLR版本4来创建编译器。第一阶段是Lexer部分。我创建了“CompilerLexer.g4”文件并将lexer规则放入其中。它工作正常。

CompilerLexer.g4：

lexer grammar CompilerLexer;

INT         :   'int'   ;   //1
FLOAT       :   'float' ;   //2
BEGIN       :   'begin' ;   //3
END         :   'end'   ;   //4
To          :   'to'    ;   //5
NEXT        :   'next'  ;   //6
REAL        :   'real'  ;   //7
BOOLEAN     :   'bool'  ;   //8
.
.
.
NOTEQUAL    :   '!='    ;   //46
AND         :   '&&'    ;   //47
OR          :   '||'    ;   //48
POW         :   '^'     ;   //49
ID          : [a-zA-Z]+ ;   //50




WS
:   ' ' -> channel(HIDDEN)  //50
;

现在是第2阶段的时候了，它是解析器。我创建了“CompilerParser.g4”文件并在其中插入了语法，但有几十个警告和错误。

CompilerParser.g4：

parser grammar CompilerParser;

options {   tokenVocab = CompilerLexer; }

STATEMENT   :   EXPRESSION SEMIC
        |   IFSTMT
        |   WHILESTMT
        |   FORSTMT
        |   READSTMT SEMIC
        |   WRITESTMT SEMIC
        |   VARDEF SEMIC
        |   BLOCK
        ;

BLOCK       : BEGIN STATEMENTS END
        ;

STATEMENTS  : STATEMENT STATEMENTS*
        ;

EXPRESSION  : ID ASSIGN EXPRESSION
        | BOOLEXP
        ;

RELEXP      : MODEXP (GT | LT | EQUAL | NOTEQUAL | LE | GE | AND | OR) RELEXP
        | MODEXP
        ;

.
.
.

VARDEF      : (ID COMA)* ID COLON VARTYPE
        ;

VARTYPE     : INT
        | FLOAT
        | CHAR
        | STRING
        ;
compileUnit
:   EOF
;

警告和错误：

解析器中的标记'BLOCK'的隐式定义

解析器中的标记'BOOLEXP'的隐式定义

解析器中的令牌'EXP'的隐式定义

解析器中令牌'EXPLIST'的隐式定义

解析器中不允许使用词法规则“BLOCK”

解析器中不允许使用词法规则'EXP'

解析器
中不允许使用词法规则'EXPLIST'
解析器中不允许使用词法规则'EXPRESSION'

有几十个警告和错误。原因是什么？

一般问题：使用组合语法和分别使用词法分析器和解析器有什么区别？应该如何加入单独的语法和词法分析器文件？

Answer 1

Lexer规则以大写字母开头，解析器规则以小写字母开头。在解析器语法中，您无法定义标记。而且由于ANTLR认为所有上层规则都是规则，因此会产生错误/警告。

修改

user2998131写道：

一般问题：使用组合语法和分别使用词法分析器和解析器有什么区别？

分离词法分析器和解析器规则将使事情井然有序。此外，在创建单独的词法分析器和解析器语法时，您不能（意外地）将文字标记放入解析器语法中，但需要在词法分析器语法中定义所有标记。这将显示哪些词法分析规则在其他规则之前匹配，并且您无法在重复的文字标记中输入任何拼写错误：

grammar P;

r1 : 'foo' r2;

r2 : r3 'foo '; // added an accidental space after 'foo'

但是当你有一个解析器语法时，你就不能犯这个错误。您必须使用匹配＆＃39; foo＆＃39;：

的词法分析器规则

parser grammar P

options { tokenVocab=L; }

r1 : FOO r2;

r2 : r3 FOO;


lexer grammar L;

FOO : 'foo';

user2998131写道：

如何加入单独的语法和词法分析器文件？

就像你在解析器语法中所做的那样：你指向tokenVocab块内的正确options { ... }。

请注意，您还可以导入不同的语法：https://theantlrguy.atlassian.net/wiki/display/ANTLR4/Grammar+Structure#GrammarStructure-GrammarImports

单独使用ANTLR Parser和Lexer

1 个答案:

修改