Antlr4 Precedence and Associativity

时间:2013-04-03 15:41:44

标签: antlr4

我正在解析像(B32|B5)&B31这样的表达式。 我的目标是找出评估此表达式的顺序。所以我的预期结果将是B2然后是|B5,最后是&B31

我的表情可以有特殊字符。使用*={。所以exp可以是B31*{A1,A2}|B35。在这种情况下,我希望B31*{A1,A2}作为首先进行评估然后B35进行评估的一个标记。

我创建了以下语法。

grammar Expr;   

prog: (expr NEWLINE)* ;

expr: '(' expr ')'
| expr ('&'|'|') expr
| ID
;


NEWLINE:'\r'? '\n' ; 

// lexer/terminal rules start with an upper case letter
ID
  :
    (
    'a'..'z'
    | 'A'..'Z'
    | '0'..'9' | ' '
    | ('+'|'-'|'*'|'/'|'_')
  | '='
  | '~'
  | '('
  | ')'
  | '{'
  | '}'
  | ','
  )+ 
  ;

WS : [ \t]+ -> skip ; 

我使用Expr.g4编译了上述-visitor,以便生成访问者。 然后我创建了一个访问者类来遍历每个表达式并将其捕获到列表中。

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Stack;

import org.antlr.v4.runtime.tree.ParseTree;

public class EvaluationVisitor extends ExprBaseVisitor<Value> {

  public List<EvalExpression> exprList = new ArrayList<EvalExpression>();
  public HashMap<String, EvalExpression> evalExprMap= new HashMap<String, EvalExpression>();

  public Value visitProg(ExprParser.ProgContext ctx) {
    return visitChildren(ctx);
  }

  public Value visitExpr(ExprParser.ExprContext ctx) {
    if (ctx.getChildCount() == 3) {
      String exprEval = ctx.getText();
      String leftExpr = ctx.getChild(0).getText();
      String token = ctx.getChild(1).getText();
      String rightExpr = ctx.getChild(2).getText();
      //System.out.println(" exprEval =" + exprEval);
      //System.out.println("<" + leftExpr + "> " + token + "  <" + rightExpr + ">");
      EvalExpression evalExprObj = new EvalExpression(exprEval, leftExpr, token, rightExpr);
      exprList.add(evalExprObj);
      evalExprMap.put(exprEval, evalExprObj);
    }
    return visitChildren(ctx);
  }

  public List<EvalExpression> getExprList() {
    return exprList;
  }

  public void setExprList(List<EvalExpression> exprList) {
    this.exprList = exprList;
  }

  public HashMap<String, EvalExpression> getEvalExprMap() {
    return evalExprMap;
  }

  public void setEvalExprMap(HashMap<String, EvalExpression> evalExprMap) {
    this.evalExprMap = evalExprMap;
  }

}

EvalExpression类如下

public class EvalExpression {
  private String expressionEvaluated;
  private String leftExpr;
  private String token;
  private String rightExpr;


  public EvalExpression(String expressionEvaluated, String leftExpr, String token,
      String rightExpr) {
    super();
    this.expressionEvaluated = expressionEvaluated;
    this.leftExpr = leftExpr;
    this.token = token;
    this.rightExpr = rightExpr;
  }


  public String getExpressionEvaluated() {
    return expressionEvaluated;
  }


  public void setExpressionEvaluated(String expressionEvaluated) {
    this.expressionEvaluated = expressionEvaluated;
  }


  public String getLeftExpr() {
    return leftExpr;
  }


  public void setLeftExpr(String leftExpr) {
    this.leftExpr = leftExpr;
  }


  public String getToken() {
    return token;
  }


  public void setToken(String token) {
    this.token = token;
  }

Value如下

public class Value {

    public static Value VOID = new Value(new Object());

    final Object value;

    public Value(Object value) {
        this.value = value;
    }

    public Boolean asBoolean() {
        return (Boolean)value;
    }

    public Double asDouble() {
        return (Double)value;
    }

    public String asString() {
        return String.valueOf(value);
    }

    public boolean isDouble() {
        return value instanceof Double;
    }

    @Override
    public int hashCode() {

        if(value == null) {
            return 0;
        }

        return this.value.hashCode();
    }

    @Override
    public boolean equals(Object o) {

        if(value == o) {
            return true;
        }

        if(value == null || o == null || o.getClass() != value.getClass()) {
            return false;
        }

        Value that = (Value)o;

        return this.value.equals(that.value);
    }

    @Override
    public String toString() {
        System.out.println("---------Inside Value to String --------------");
        return String.valueOf(value);
    }
}    

现在最后我写了一个测试程序来打印出令牌列表以及我需要查看它们的顺序

import java.util.ArrayList;
import java.util.HashMap;
import java.util.HashSet;
import java.util.List;
import java.util.Set;
import java.util.Stack;

import org.antlr.v4.runtime.ANTLRInputStream;
import org.antlr.v4.runtime.CharStream;
import org.antlr.v4.runtime.CommonTokenStream;
import org.antlr.v4.runtime.Token;
import org.antlr.v4.runtime.TokenStream;
import org.antlr.v4.runtime.tree.ParseTree;
import org.antlr.v4.runtime.tree.ParseTreeWalker;
import org.antlr.v4.runtime.tree.TerminalNode;

import com.inmedius.antlr.ExprLexer;
import com.inmedius.antlr.ExprParser;
import com.inmedius.antlr.eval.EvalExpression;
import com.inmedius.antlr.eval.EvaluationVisitor;
import com.inmedius.antlr.eval.ExpressionTestVisitor;

public class EvalExprTest {

  /**
   * @param args
   */
  public static void main(String[] args) throws Exception {
    // TODO Auto-generated method stub
    try {
      //String src = "(B1=p & A4=p | A8=p) | (A6=p | ~A5=c)";
      String src = "(B32|B5)&B31";

      CharStream stream = (CharStream) (new ANTLRInputStream(src));
      ExprLexer lexer = new ExprLexer(stream);
      TokenStream tokens = new CommonTokenStream(lexer);

      ExprParser parser = new ExprParser(new CommonTokenStream(lexer));
      ParseTree tree = parser.prog();

      if (!src.contains("&") && !src.contains("|")) {
        System.out.print("exp="  + src);
      } else {
        EvaluationVisitor visitor = new EvaluationVisitor();
        visitor.visit(tree);

        List<EvalExpression> exprOrderList = visitor.getExprList();
        HashMap<String, EvalExpression> evalMap = visitor.getEvalExprMap();
        for (EvalExpression eval : exprOrderList) {
          System.out.println(" Expr =" + eval.getRightExpr() + " "
              + eval.getToken());
          if (evalMap.get(eval.getLeftExpr()) == null) {
            System.out.println(" Expr =" + eval.getLeftExpr());
          }
        }
      }

    } catch (Exception e) {
      e.printStackTrace(System.out);
      throw e;
    }

  }

}



      public String getRightExpr() {
        return rightExpr;
      }


      public void setRightExpr(String rightExpr) {
        this.rightExpr = rightExpr;
      }


    }

我的问题是当我运行EvalExprTest时,在程序中我使用String src = "(B32|B5)&B31"进行测试。我得到以下结果。

 Expr =B31 &
 Expr =B5) |
 Expr =(B32

我的目标是获得优先权,以便首先评估括号中的表达式。但似乎总是从最右边的表达式遍历树,在这种情况下它是B31

有人可以帮忙吗?语法是否正确?访客实施是正确的吗?

1 个答案:

答案 0 :(得分:3)

目前()ID中的允许字符,因此您的示例字符串将分为以下标记:

  • (B32
  • |
  • B5)
  • &
  • B31

另一个问题是您没有区分表达式规则中&|的优先级。这意味着,X|Y&B这样的表达式将等同于您所用语言中的(X|Y)&B,其中大多数语言会优先&使其等同于X|(Y&B)

要更正这些项目,您可能需要执行以下操作。

  1. '('规则中删除')'ID。如果您想要命名令牌,可以选择添加以下内容。

    LPAREN : '(';
    RPAREN : ')';
    
  2. 更正expr规则以单独处理&|

    expr: '(' expr ')'
        | expr '&' expr
        | expr '|' expr
        | ID
        ;