ANTLR4 - 具有无法区分的令牌的语言

时间:2013-06-05 16:03:00

标签: antlr4

我正在开发一种旧语言的语法。

语言相当复杂,但我想专注于一个特定的问题,所以我做了一个简单的版本。 light版本允许指定assign语句和简单表达式,如数学运算或字符串连接。

像这样:

@assign[@var1 (1+3)*2]
@assign[@var2 "foo" $ "bar"]    

注意:在赋值语句中,变量可能不以@cchar开头。该语句也可以写在多行上,因此以下赋值是等效的:

@assign[@var2 "foo" $ "bar"]

@assign[var2 "foo" $ "bar"]

@assign
[@var2 "foo" 
$ "bar"]

@assign
[var2 "foo" 
$ "bar"]

在这种语言中,您还可以打印出变量的值。问题是没有特定的命令(如@print [...]),编写变量就足够了。像这样:

@var1 @var2

所以,输出代码

@assign[@var1 (1+3)*2]
@assign[@var2 "foo" $ "bar"]
@var1 @var2

是:

8 foobar

这是我从Mu语法文件开始到目前为止编写的语法:

grammar Grammar;

////////////////
//   PARSER   //
////////////////

file
 : block EOF
 ;

block
 : stat*
 ;

stat
 : assignment
 | print
 ;

assignment
 : ASSIGN LBRACKET variable expr RBRACKET
 ;

print
 : AT ID
 ;

expr
 : expr CONCAT expr #concatExpr
 | expr MUL expr    #mulExpr
 | expr DIV expr    #divExpr
 | expr ADD expr    #addExpr
 | expr SUB expr    #subExpr
 | atom             #atomExpr
 ;

variable
 : AT ID
 | ID
 ;

atom
 : LPARENS expr RPARENS  #parExpr
 | INT                   #intAtom
 | STRING                #stringAtom
 | variable              #variableAtom
 ;

///////////////
//   LEXER   //
///////////////

ASSIGN : AT 'assign' ;

AT : '@' ;

ID : [a-zA-Z_] [a-zA-Z_0-9]* ;

INT
 : [0-9]+
 ;

LBRACKET : '[' ;
RBRACKET : ']' ;
LPARENS : '(' ;
RPARENS : ')' ;

CONCAT : '$' ;
ADD : '+' ;
SUB : '-' ;
MUL : '*' ;
DIV : '/' ;

WS : [ \t\r\n] -> skip ;

COMMENT : '[*' .*? '*]' -> skip ;

STRING : '"' (~["\r\n] | '""')* '"' ;

要打印变量,我开发了一个自定义访问者。访问 visitPrint 方法,我知道有两个令牌: AT ID

现在问题。

如何修改语法以便以下示例代码

@assign[@var1 "one"]
@assign[var2 "two"]
@assign[var3 var1 $ var2] 
Value of var3 is: @var3

生成此输出?

Value of var3 is: onetwo

目标是使语法能够打印一些自由文本。

我想我要重写 print 规则。但是......怎么样?

print
 : AT ID
 | ?????? //Help!
 ;

在这种情况下,目标也是“var3的值为:”应该是单个标记(每个单词不是一个标记)。

这肯定是错误的方式!

print
 : AT ID
 | .+?
 ;

提前致谢。

1 个答案:

答案 0 :(得分:0)

这类似于Parr的“The Definitive ANTLR 4 Reference”第12.3章中从文本中分离XML标记的示例。他使用词法分析器中的模式在内部XML标记之间和它们之外切换标记输出(即以纯文本形式)。

在您的情况下,似乎“@assign”和“]”用作您的标签(模式1),否则您可以在识别变量后将输入打印到输出。