ANTLR语法如果声明

时间:2012-02-16 15:29:48

标签: antlr

我一直致力于学习ANTLR以创建特定于域的语言。其中一个要求是将此DSL转换为C.我已经能够获得识别DSL的基本语法,但是我将此问题转换为C.主要是,我的问题来自尝试将DSL if语句转换为一个C if语句。我尝试在语法中使用print语句,但没有用(我正在使用C#)。

这是我一直在测试的语法:

**ifTest.g**
grammar ifTest;

options
{
backtrack=true;
output=AST;
language=CSharp2;
}

/*************************
PARSER RULES
*************************/
prog    :   lambda
|   statements EOF;

lambda  :   /* Empty */;

statements
:   statement+;

statement
:   logical
|   assignment
|   NEWLINE;


logical :   IF a=logical_Expr THEN b=statements 
        {
            System.Console.Write("\tif (" + $a.text + ")\n\t{\n\t" + "\t" +     $b.text + "\n\n\t}");   
        }
        ( ELSE c=statements      
       {    
        System.Console.Write("\n\telse {\n\t\t\t" + $c.text + "\n\t}"); 
    } )?
    ENDIF   
    {
        System.Console.Write("\n}");
    }
;

logical_Expr
    :   expr    
    ;

expr    :   (simple_Expr) (op expr)*
    ;

simple_Expr     : MINUS expr
    | identifier
    | number
    ;

identifier  : parameter
    | VARIABLE
    ;

parameter   : norm_parameter
    ;

norm_parameter  : spec_label
    | reserved_parm
    ;

spec_label  : LABEL
                ;

reserved_parm   : RES_PARM
                ;

op  :   PLUS
|   MINUS
|   MULT
|   DIV
|   EQUALS
|   GT
|   LT
|   GE
|   LE
;

number      : INT
    | FLOAT
    | HEX
                ;

assignment  : identifier GETS expr
;

/*************************
    LEXER RULES
*************************/
WS  :       (' '|'\t')+ {$channel=HIDDEN;};

COMMENT :   '/*' (options {greedy=false;}:.)* '*/' {$channel=HIDDEN;}
                ;

LINECOMMENT
    :   '#' ~('\n'|'\r')* NEWLINE {$channel=HIDDEN;}
    ;

NEWLINE :   '\r'?'\n' {$channel=HIDDEN;};

IF  :   I F;
THEN    :   T H E N;
ELSE    :   E L S E;
ENDIF   :   E N D I F;

PLUS    :   '+';
MINUS   :   '-';
MULT    :   '*';
DIV :   '/';
EQUALS  :   '=';
GT  :   '>';
LT  :   '<';
GE  :   '>=';
LE  :   '<=';
ULINE   :   '_';
DOT :   '.';
GETS    :   ':=';

LABEL   :   (LETTER|ULINE)(LETTER|DIGIT|ULINE)*;

INT     :   '-'?DIGIT+;

FLOAT   :   '-'? DIGIT* DOT DIGIT+;

HEX :   ('0x'|'0X')(HEXDIGIT)HEXDIGIT*;

RES_PARM:    DIGIT LABEL;

VARIABLE:    '\$' LABEL;


fragment A:'A'|'a';    fragment B:'B'|'b';    fragment C:'C'|'c';    fragment D:'D'|'d';    
fragment E:'E'|'e';    fragment F:'F'|'f';    fragment G:'G'|'g';    fragment H:'H'|'h';    
fragment I:'I'|'i';    fragment J:'J'|'j';    fragment K:'K'|'k';    fragment L:'L'|'l';
fragment M:'M'|'m';    fragment N:'N'|'n';    fragment O:'O'|'o';    fragment P:'P'|'p';    
fragment Q:'Q'|'q';    fragment R:'R'|'r';    fragment S:'S'|'s';    fragment T:'T'|'t';    
fragment U:'U'|'u';    fragment V:'V'|'v';    fragment W:'W'|'w';    fragment X:'X'|'x';
fragment Y:'Y'|'y';    fragment Z:'Z'|'z';


fragment DIGIT
:   '0'..'9';

fragment LETTER
:   A|B|C|D|E|F|G|H|I|J|K|L|M|N|O|P|Q|R|S|T|U|V|W|X|Y|Z;

fragment HEXDIGIT   
:   '0..9'|'a..f'|'A'..'F';

使用此C#类测试时

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using Antlr.Runtime;

namespace ConsoleApplication1
{
    class Program
    {
        static void Main(string[] args)
        {
            string inputString = "if $variable1 = 0 then\n  if $variable2 > 250 then\n   $variable3 := 0\n  endif\n endif";

            Console.WriteLine("Here is the input string:\n " + inputString + "\n");

            ANTLRStringStream input = new ANTLRStringStream(inputString);

            ifTestLexer lexer = new ifTestLexer(input);

            CommonTokenStream tokens = new CommonTokenStream(lexer);

            ifTestParser parser = new ifTestParser(tokens);

            parser.prog();

            Console.Read();
        }
    }
}

输出并不是我想象的那样。

**Output**
if ($variable2 > 250)
    {
            $variable3 := 0

    }
}       if ($variable1 = 0)
    {
            if $variable2 > 250 then
           $variable3 := 0
           endif

    }
}

问题似乎是第二个if语句打印两次,但不是按照我希望的顺序。我假设它与我只是试图在print语句中发出语句块有关,但我不太清楚如何让它正常工作。我一直在阅读StringTemplate,或创建一个AST并使用Tree Walker来处理它,但是无论如何要修复上面的输出看起来像这样吗?

if ($variable1 = 0)
{
    if ($variable2 > 250)
    {
         $variable3 := 0
    }
}

任何有关我应该采取的方向的帮助将不胜感激。对于我来说,跳过StringTemplate会不会更好,或者我有什么办法让我用基本的动作代码做到这一点?如果我留下任何信息,请随时询问。

2 个答案:

答案 0 :(得分:4)

是的,问题是您在解析阶段尝试发出'编译结果'(C程序)。解析器将回溯,通常您不能指望解析器的每个部分只运行一次并且每次都采用正确的路径。

AST输出肯定是我建议看的,然后走AST来产生你的输出。 TreeWalker当然听起来像一个有用的工具。

总的来说,不,我不相信对于任何非平凡的语法,只能用解析动作创建所需的输出。

奇怪的是,你是我见过的第二个人,在过去的几天里尝试这样做。我当然可以看到这个想法的吸引力“用解析器做到这一切!”,但我真的不认为这是可行的。 ANTLR是一个工具,但它的输出是AST;不是编译的可执行文件

如果您有兴趣,可以点击此链接到其他类似问题:
Parsing Java code with ANTLR "need concept"

答案 1 :(得分:3)

如果你删除了在你的情况下很容易完成的回溯,你可以让解析器立即构建C代码。

请注意,解析器规则可以采用参数(下面示例中的缩进级别)并且可以返回自定义对象(示例中为String):

这是你的语法没有回溯并输出到C代码(我不太擅长C#,所以演示是用Java编写的):

grammar ifTest;

prog    
 : statements[""] EOF {System.out.println($statements.str);}
 ;

statements[String indent] returns [String str]
@init{$str = "";}
 : (statement[indent] {$str += indent + $statement.str + "\n";})*
 ;

statement[String indent] returns [String str]
 : if_statement[indent] {$str = $if_statement.str;}
 | assignment           {$str = $assignment.str;}
 ;

if_statement[String indent] returns [String str]
 : IF expr THEN s1=statements[indent + "  "] {$str = "if (" + $expr.str + ")\n" + indent + "{\n" + $s1.str;}
   (ELSE s2=statements[indent + "  "]        {$str += indent + "}\n" + indent + "else\n" + indent + "{\n" + $s2.str;} )? 
   ENDIF                                     {$str += indent + "}";}
 ;

assignment returns [String str]
 : identifier GETS expr {$str = $identifier.str + " = " + $expr.str + ";";}
 ;

expr returns [String str]
 : rel_expr {$str = $rel_expr.str;}
 ;

rel_expr returns [String str]
 : e1=eq_expr {$str = $e1.str;} ( LT e2=eq_expr {$str += " < "  + $e2.str;}
                                | GT e2=eq_expr {$str += " > "  + $e2.str;}
                                | LE e2=eq_expr {$str += " <= " + $e2.str;}
                                | GE e2=eq_expr {$str += " >= " + $e2.str;}
                                )?
 ;

eq_expr returns [String str]
 : e1=add_expr {$str = $e1.str;} (EQUALS e2=add_expr {$str += " == " + $e2.str;})?
 ;

add_expr returns [String str]
 : e1=mult_expr {$str = $e1.str;} ( PLUS  e2=mult_expr {$str += " + " + $e2.str;}
                                  | MINUS e2=mult_expr {$str += " - " + $e2.str;}
                                  )*
 ;

mult_expr returns [String str]
 : e1=unary_expr {$str = $e1.str;} ( MULT e2=unary_expr {$str += " * " + $e2.str;}
                                   | DIV  e2=unary_expr {$str += " / " + $e2.str;}
                                   )*
 ;

unary_expr returns [String str]
 : MINUS term {$str = "-" + $term.str;}
 | term       {$str = $term.str;}
 ;

term returns [String str]
 : identifier {$str = $identifier.str;}
 | number     {$str = $number.text;}
 ;

identifier returns [String str]
 : LABEL    {$str = $LABEL.text;}
 | RES_PARM {$str = $RES_PARM.text;}
 | VARIABLE {$str = $VARIABLE.text.substring(1);}
 ;

number
 : INT   
 | FLOAT
 | HEX
 ;

WS          : (' '|'\t')+ {$channel=HIDDEN;};
COMMENT     : '/*' .* '*/' {$channel=HIDDEN;};
LINECOMMENT : '#' ~('\n'|'\r')* NEWLINE {$channel=HIDDEN;};
NEWLINE     : '\r'?'\n' {$channel=HIDDEN;};
IF          : I F;
THEN        : T H E N;
ELSE        : E L S E;
ENDIF       : E N D I F;
PLUS        : '+';
MINUS       : '-';
MULT        : '*';
DIV         : '/';
EQUALS      : '=';
GT          : '>';
LT          : '<';
GE          : '>=';
LE          : '<=';
ULINE       : '_';
DOT         : '.';
GETS        : ':=';
LABEL       : (LETTER | ULINE) (LETTER | DIGIT | ULINE)*;
INT         : DIGIT+;            // no '-' here, unary_expr handles this
FLOAT       : DIGIT* DOT DIGIT+; // no '-' here, unary_expr handles this
HEX         : '0' ('x'|'X') HEXDIGIT+;
RES_PARM    : DIGIT LABEL;
VARIABLE    : '$' LABEL;

fragment A:'A'|'a';    fragment B:'B'|'b';    fragment C:'C'|'c';    fragment D:'D'|'d';    
fragment E:'E'|'e';    fragment F:'F'|'f';    fragment G:'G'|'g';    fragment H:'H'|'h';    
fragment I:'I'|'i';    fragment J:'J'|'j';    fragment K:'K'|'k';    fragment L:'L'|'l';
fragment M:'M'|'m';    fragment N:'N'|'n';    fragment O:'O'|'o';    fragment P:'P'|'p';    
fragment Q:'Q'|'q';    fragment R:'R'|'r';    fragment S:'S'|'s';    fragment T:'T'|'t';    
fragment U:'U'|'u';    fragment V:'V'|'v';    fragment W:'W'|'w';    fragment X:'X'|'x';
fragment Y:'Y'|'y';    fragment Z:'Z'|'z';

fragment HEXDIGIT : DIGIT |'a..f'|'A'..'F';
fragment DIGIT    : '0'..'9';
fragment LETTER   : A | B | C | D | E | F | G | H | I | J | K | L | M 
                  | N | O | P | Q | R | S | T | U | V | W | X | Y | Z
                  ;

如果您现在使用输入测试解析器:

if $variable1 = 0 then
  if $variable2 > 250 then
    $variable3 := 0
  else
    $variable3 := 42
  endif
endif

以下内容将打印到控制台:

if (variable1 == 0)
{
  if (variable2 > 250)
  {
    variable3 = 0;
  }
  else
  {
    variable3 = 42;
  }
}

如果你的语法的其他部分(严重地)依赖于谓词(回溯),那么同样的策略可以很容易地应用,但是然后在树语法中(所以后退跟踪解析器之后)做了它的工作并产生了AST)。