输出AST从flex + bison到main.cpp

时间:2014-09-07 10:39:26

标签: c++ bison flex-lexer

免责声明:虽然我已经完成了本教程,但我是一个灵活的野牛菜鸟:http://ds9a.nl/lex-yacc/cvs/lex-yacc-howto.html

现在,我正在为OPENGL-C ++中的项目构建视频游戏。 main.cpp包含所有游戏图形,逻辑等(相当易于管理,所以不是问题)。在游戏开始之前,它需要解析配置文件(让我们假设它是一种任意格式,因此INI和JSON API是不可能的)。

我知道足够的flex和bison来识别文件中的模式并创建AST(也使用$表示法分配变量。现在,如何在main.cpp中提供这些变量?

1 个答案:

答案 0 :(得分:1)

根据配置语言的复杂程度,使用一次通过解析器而不是创建AST然后遍历树可能会更好。但这两种方法都是完全有效的。

或许你应该花几分钟(或几小时:)阅读bison manual。在这里,我只关注您可能会使用的一般方法和野牛功能。

最重要的是能够将额外的参数传递给解析器。特别是,您希望将引用或指针传递给包含已解析配置的对象。您需要额外的输出参数,因为解析器本身只会返回成功或失败指示(您也需要)。

所以这是一个简单的例子,它只是构造一个字符串字典。请注意,与您提到的教程的作者不同,我更喜欢将扫描器和解析器编译为C ++,从而避免使用extern "C"接口。这适用于当前版本的flexbison,只要您不尝试将非POD对象放到解析器堆栈上即可。不幸的是,这意味着我们不能直接使用std :: string;我们需要使用指针(我们也不能使用智能指针。)

file scanner.

%{
  #include <string>
  #include "config.h"
  using std::string;
%}

%option noinput nounput noyywrap nodefault
%option yylineno
 // Set the output file to a C++ file. This could also be done on the
 // command-line
%option outfile="scanner.cc"

%%

"#".*                      ; /* Ignore comments */
[[:space:]]                ; /* Ignore whitespace */
[[:alpha:]̣_][[:alnum:]_]*  { yylval = new string(yytext, yyleng); return ID; }
[[:alnum:]_@]+             { yylval = new string(yytext, yyleng); return STRING; }
["][^"]*["]                { yylval = new string(yytext+1, yyleng-2); return STRING; }
.                          { return *yytext; }

现在是bison文件,它只识别作业。这需要野牛v3;与野牛v2.7一起使用时需要进行微小的调整。

<强> config.y

%code requires {
  #include <map>
  #include <string>
  #include <cstdio>
  using Config = std::map<std::string, std::string>;

  // The semantic type is a pointer to a std::string
  #define YYSTYPE std::string*

  // Forward declarations
  extern FILE* yyin;
  extern int yylineno; 
  int yylex();
  // Since we've defined an additional parse parameter, it will also
  // be passed to yyerror. So we need to adjust the prototype accordingly.
  void yyerror(Config&, const char*);
}

 // Set the generated code filenames. As with the flex file, this is
 // probably
 // better done on the command line.
%output "config.cc"
%defines "config.h"

 // The parser takes an additional argument, which is a reference to the
 // dictionary
 // which will be returned.
%parse-param { Config& config }

%token ID STRING

 // If semantic values are popped off the stack as the result of error
 // recovery,
 // they will leak, so we need to clean up.
%destructor { delete $$; } ID STRING

%%

config: %empty
      | config assignment
      ;

assignment: ID '=' STRING { config[*$1] = *$3;
                            delete $1; delete $3;
                          }
          | ID '=' ID     { config[*$1] = config[*$3];
                            delete $1; delete $3;
                          } 

%%
// The driver would normally go into a separate file. I've put it here
// for simplicity.

#include <iostream>
#include <cstring>

void yyerror(Config& unused, const char* msg) {
  std::cerr << msg << " at line " << yylineno << '\n';
}

int main(int argc, const char** argv) {
  if (argc > 1) {
    yyin = fopen(argv[1], "r");
    if (!yyin) {
      std::cerr << "Unable to open " << argv[1] << ": "
                << strerror(errno) << '\n';
      return 1;
    }
  } else {
    yyin = stdin;
  }
  Config config;
  int rv = yyparse(config);
  if (rv == 0)
    for (const auto& kv : config)
      std::cout << kv.first << ": \"" << kv.second << "\"\n";
  return rv;
}

编译:

flex scanner.l
bison config.y
g++ --std=c++11 -Wall config.cc scanner.cc

尝试一下:

$ cat sample.config
a=17
b= @a_single_token@
c = "A quoted string"
d9 =
"Another quoted string"
$ ./config sample.config
a: "17"
b: "@a_single_token@"
c: "A quoted string"
d9: "Another quoted string"