ANTLR:有一个简单的例子吗?

时间:2009-12-18 23:35:16

标签: java antlr antlr4 antlr3

我想开始使用ANTLR,但是在antlr.org站点上查看示例几个小时后,我仍然无法清楚地了解Java进程的语法。

是否有一些简单的例子,比如使用ANTLR通过解析器定义实现的四操作计算器,一直到Java源代码?

5 个答案:

答案 0 :(得分:437)

注意:此答案适用于 ANTLR3 !如果您正在寻找 ANTLR4 示例,那么此Q&A演示如何使用 ANTLR4 创建简单表达式解析器和评估程序。


首先创建一个语法。下面是一个小语法,您可以使用它来评估使用4个基本数学运算符构建的表达式:+, - ,*和/。您也可以使用括号对表达式进行分组。

请注意,这个语法只是一个非常基本的语法:它不处理一元运算符(减去-1:9)或小数字如.99(没有前导数字),仅举两个缺点。这只是一个你可以自己解决的例子。

以下是语法文件 Exp.g

的内容
grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

(解析器规则以小写字母开头,词法分析器规则以大写字母开头)

创建语法后,您将需要从中生成解析器和词法分析器。下载ANTLR jar并将其存储在与语法文件相同的目录中。

在shell /命令提示符下执行以下命令:

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

它不应该产生任何错误消息,现在应该生成文件 ExpLexer.java ExpParser.java Exp.tokens

要查看一切是否正常,请创建此测试类:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

并编译它:

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

然后运行它:

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

如果一切顺利,控制台上不会打印任何内容。这意味着解析器没有发现任何错误。当您将"12*(5-6)"更改为"12*(5-6"然后重新编译并运行它时,应打印以下内容:

line 0:-1 mismatched input '<EOF>' expecting ')'

好的,现在我们想在语法中添加一些Java代码,以便解析器实际上做了一些有用的事情。添加代码可以通过在语法中放置{}并在其中包含一些纯Java代码来完成。

但首先:语法文件中的所有解析器规则都应返回原始double值。您可以在每个规则之后添加returns [double value]来执行此操作:

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

几乎不需要解释:每个规则都应该返回一个double值。现在,要从代码块内部与返回值double value(不在普通Java代码块{...}内)进行“交互”,您需要在{{前面添加一个美元符号1}}:

value

这是语法,但现在添加了Java代码:

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;

// ...

由于我们的grammar Exp; eval returns [double value] : exp=additionExp {$value = $exp.value;} ; additionExp returns [double value] : m1=multiplyExp {$value = $m1.value;} ( '+' m2=multiplyExp {$value += $m2.value;} | '-' m2=multiplyExp {$value -= $m2.value;} )* ; multiplyExp returns [double value] : a1=atomExp {$value = $a1.value;} ( '*' a2=atomExp {$value *= $a2.value;} | '/' a2=atomExp {$value /= $a2.value;} )* ; atomExp returns [double value] : n=Number {$value = Double.parseDouble($n.text);} | '(' exp=additionExp ')' {$value = $exp.value;} ; Number : ('0'..'9')+ ('.' ('0'..'9')+)? ; WS : (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;} ; 规则现在返回一个double,因此将您的ANTLRDemo.java更改为:

eval

再次(重新)从语法中生成一个新的词法分析器和解析器(1),编译所有类(2)并运行ANTLRDemo(3):

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

现在您将看到表达式// *nix/MacOS java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1 javac -cp .:antlr-3.2.jar ANTLRDemo.java // 2 java -cp .:antlr-3.2.jar ANTLRDemo // 3 // Windows java -cp antlr-3.2.jar org.antlr.Tool Exp.g // 1 javac -cp .;antlr-3.2.jar ANTLRDemo.java // 2 java -cp .;antlr-3.2.jar ANTLRDemo // 3 打印到您的控制台的结果!

再次:这是一个非常简短的解释。我鼓励你浏览ANTLR wiki并阅读一些教程和/或玩一下我刚发布的内容。

祝你好运!

编辑:

This post显示了如何扩展上面的示例,以便可以提供12*(5-6)来保存所提供表达式中的变量。

要使此代码与当前版本的Antlr(2014年6月)一起使用,我需要进行一些更改。 Map<String, Double>需要成为ANTLRStringStream,从ANTLRInputStream更改为parser.eval()所需的返回值,我需要在结尾删除parser.eval().value子句,因为不再允许在词法分析器操作中显示WS等属性值。

答案 1 :(得分:11)

Gabriele Tomassetti的

ANTLR mega tutorial非常有帮助

它有语法示例,不同语言的访问者示例(Java,JavaScript,C#和Python)以及许多其他内容。强烈推荐。

编辑:Gabriele Tomassetti关于ANTLR的其他有用文章

答案 2 :(得分:7)

对于Antlr 4,java代码生成过程如下: -

NAIVE-STRING-MATCHER(T, P)
  n = T.length
  m = P.length
  for s = 0 to n - m
     if P[1..m] == T[s + 1..s + m]
        return TRUE
  return FALSE   

相应地更新类路径中的jar名称。

答案 3 :(得分:1)

https://github.com/BITPlan/com.bitplan.antlr,您将找到一个ANTLR java库,其中包含一些有用的辅助类和一些完整的示例。它已准备好与maven一起使用,如果你喜欢eclipse和maven。

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4

是一种简单的表达式语言,可以进行乘法和添加操作。 https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.java对其进行了相应的单元测试。

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4是一个IRI解析器,分为三个部分:

  1. 解析器语法
  2. lexer grammar
  3. 导入LexBasic语法
  4. https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.java 有单元测试。

    就我个人而言,我发现这是最合适的部分。见http://wiki.bitplan.com/index.php/ANTLR_maven_plugin

    https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr

    包含为早期版本中的ANTLR4性能问题创建的另外三个示例。与此同时,此问题已在测试用例https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.java显示的情况下得到修复。

答案 4 :(得分:0)

版本4.7.1略有不同: 导入:

import org.antlr.v4.runtime.*;

主要部分-注意CharStreams:

CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);