Question

构建AST之后，实现树步行器的最佳方法是什么，以便可以按任何顺序定义和调用函数？

例如，这在PHP中有效：

<?php
f(); // function called before it’s defined
function f() {
  print 3;
}
?>

我猜测某种程度上必须有第二次传递，或树变换，但我找不到任何关于这个主题的有趣内容。这个问题可能不是特定于Antlr的问题，但是如果你能指出我如何做到这一点的Antlr示例，那就更好了！

Answer 1

是的，你是对的：这是通过AST进行的多次传递。

首先创建一个构建源的AST的语法，然后创建一个树语法，用于迭代树并发现所有已定义的函数。然后，您可以使用另一个树语法来评估脚本，该语法从先前的树语法中获取已发现的函数。

演示。

拿源：

<?php
f(); // function called before it’s defined
function f() {
  g();
}
function g() {}
?>

将解析为以下AST：

alt text

使用（组合）语法：

grammar PHPMin;

options { 
  output=AST; 
}

tokens {
  SCRIPT; F_CALL; F_DECL; F_BODY;
}

parse
  :  script EOF -> script
  ;

script
  :  '<?php' atom* '?>' -> ^(SCRIPT atom*)
  ;

atom
  :  functionCall
  |  functionDecl
  ;

functionCall
  :  Identifier '(' ')' ';' -> ^(F_CALL Identifier)
  ;

functionDecl
  :  'function' Identifier '(' ')' '{' functionBody '}' -> ^(F_DECL Identifier functionBody)
  ;

functionBody
  :  functionCall* -> ^(F_BODY functionCall*)
  ;

Identifier  : ('a'..'z' | 'A'..'Z' | '_') ('a'..'z' | 'A'..'Z' | '_' | '0'..'9')* ;
LineComment : '//' ~('\r' | '\n')* ('\r'? '\n' | EOF){skip();} ;
Space       : (' ' | '\t' | '\r' | '\n'){skip();} ;

然后使用从以下树语法生成的“tree-walker”发现声明的函数：

tree grammar PHPMinFunctionWalker;

options {
    tokenVocab=PHPMin;
    ASTLabelType=CommonTree;
}

@members {
    java.util.Set<String> declared = new java.util.HashSet<String>();
}

discover
  :  script
  ;

script
  :  ^(SCRIPT atom*)
  ;

atom
  :  functionCall
  |  functionDecl
  ;

functionCall
  :  ^(F_CALL Identifier)
  ;

functionDecl
  :  ^(F_DECL Identifier functionBody) {declared.add($Identifier.text);}
  ;

functionBody
  :  ^(F_BODY functionCall*)
  ;

要测试一切，创建一个词法分析器和解析器（A），生成“tree-walker”（B），编译所有源文件（C）：

// A
java -cp antlr-3.2.jar org.antlr.Tool PHPMin.g

// B 
java -cp antlr-3.2.jar org.antlr.Tool PHPMinFunctionWalker.g

// C
javac -cp antlr-3.2.jar *.java

// D     
java -cp .:antlr-3.2.jar Main    // *nix 
java -cp .;antlr-3.2.jar Main    // Windows

并运行以下主类（D）：

import org.antlr.runtime.*;
import org.antlr.runtime.tree.*;
import org.antlr.stringtemplate.*;

public class Main {

    public static void main(String[] args) throws Exception {

        String source = "<?php                                          \n" + 
                        "f(); // function called before it’s defined    \n" + 
                        "function f() {                                 \n" + 
                        "  g();                                         \n" + 
                        "}                                              \n" + 
                        "function g() {}                                \n" + 
                        "?>                                             \n";

        // create a lexer and parser for the source
        ANTLRStringStream in = new ANTLRStringStream(source);
        PHPMinLexer lexer = new PHPMinLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        PHPMinParser parser = new PHPMinParser(tokens);
        PHPMinParser.parse_return returnValue = parser.parse();
        CommonTree tree = (CommonTree)returnValue.getTree();

        // create a tree walker to discover all declared functions
        CommonTreeNodeStream nodes = new CommonTreeNodeStream(tree);
        nodes.setTokenStream(tokens);
        PHPMinFunctionWalker functions = new PHPMinFunctionWalker(nodes);
        functions.discover();
        System.out.println("Declared functions: "+functions.declared);
    }
}

产生以下输出：

Declared functions: [f, g]

当然，这只是如何处理它的一个例子，而不是它如何做得最好。我可以想象（当使用Java来解释脚本时），你不会将声明的函数作为简单的字符串存储在Set<String>中，而是存储为Map<String, CommonTree>以轻松获取函数的根和在被叫时评估它。

进一步阅读：http://www.antlr.org/wiki/display/ANTLR3/Simple+tree-based+interpeter

祝你好运！

修改

然后，秒传递可以检查是否所有函数都使用前面的树形漫游器在其前面定义：

tree grammar PHPMinValidateWalker; options { tokenVocab=PHPMin; ASTLabelType=CommonTree; } @members { java.util.Set<String> declared = new java.util.HashSet<String>(); } validate : script ; script : ^(SCRIPT atom*) ; atom : functionCall | functionDecl ; functionCall : ^(F_CALL Identifier) { if(!declared.contains($Identifier.text)) { throw new RuntimeException("no such function: " + $Identifier.text); } } ; functionDecl : ^(F_DECL Identifier functionBody) ; functionBody : ^(F_BODY functionCall*) ;

使用测试：

import org.antlr.runtime.*; import org.antlr.runtime.tree.*; import org.antlr.stringtemplate.*; public class Main { public static void main(String[] args) throws Exception { String source = "<?php \n" + "f(); // function called before it’s defined \n" + "function f() { \n" + " g(); \n" + " x(); \n" + "} \n" + "function g() {} \n" + "?> \n"; // create a lexer and parser for the source ANTLRStringStream in = new ANTLRStringStream(source); PHPMinLexer lexer = new PHPMinLexer(in); CommonTokenStream tokens = new CommonTokenStream(lexer); PHPMinParser parser = new PHPMinParser(tokens); PHPMinParser.parse_return returnValue = parser.parse(); CommonTree tree = (CommonTree)returnValue.getTree(); // create a tree walker to discover all declared functions CommonTreeNodeStream nodes = new CommonTreeNodeStream(tree); nodes.setTokenStream(tokens); PHPMinFunctionWalker functions = new PHPMinFunctionWalker(nodes); functions.discover(); System.out.println("Declared functions: "+functions.declared); // PHPMinValidateWalker nodes = new CommonTreeNodeStream(tree); nodes.setTokenStream(tokens); PHPMinValidateWalker validator = new PHPMinValidateWalker(nodes); validator.declared = functions.declared; validator.validate(); } }

产生异常，因为x()未在任何地方定义。从源代码中删除它将导致tree-walker不会产生异常。

如何使用Antlr实现函数调用，以便在定义之前调用它？

1 个答案:

演示。