最简单的解析器在go工具yacc中

时间:2016-07-28 19:48:06

标签: go yacc

使用此命令:

go tool yacc -p Verb -o verb.go boilerplate.y

尝试构建此yacc文件:

// boilerplate.y
%{

package main

import (
    "bufio"
    "fmt"
    "os"
    "unicode"
)

%}

%% 

.|\n   ECHO;

%%

func main() {
    fi := bufio.NewReader(os.NewFile(0, "stdin"))
  s, err := fi.ReadString('\n')
  if err != nil {
    fmt.Println('error', err)
  } 

  VerbParse(&VerbLex{s: s})
}

错误:bad syntax on first rule: boilerplate.y:16

成功地让这个例子起作用:

https://github.com/golang-samples/yacc/blob/master/simple/calc.y

尝试建立自己的工作并通过lex& yacc书。资源似乎仅限于不存在。

1 个答案:

答案 0 :(得分:7)

您的规格中的rule不正确。

规范文件具有以下声明:

declarations
%%
rules
%%
programs

rule定义为:

A  :  BODY  ;

A 是非终端符号,而 BODY 由令牌(终端符号),非终端和文字组成。 :;是规则声明语法的必需组件。

因此规则:

.|\n   ECHO;

在语法上是不正确的。

由于您只是尝试回显输入,因此将遵循基于calc.y的非常简单的实现(文件 echo.y ):

<强>规则

%%

in : /* empty */
  | in input '\n'
     { fmt.Printf("Read character: %s\n", $2) }
  ;

input : CHARACTER
  | input CHARACTER
      { $$ = $1 + $2 }
  ;

<强>程序

%%

type InputLex struct {
    // contains one complete input string (with the trailing \n)
    s string
    // used to keep track of parser position along the above imput string
    pos int
}

func (l *InputLex) Lex(lval *InputSymType) int {
    var c rune = ' '

    // skip through all the spaces, both at the ends and in between
    for c == ' ' {
        if l.pos == len(l.s) {
            return 0
        }
        c = rune(l.s[l.pos])
        l.pos += 1
    }

    // only look for input characters that are either digits or lower case
    // to do more specific parsing, you'll define more tokens and have a 
    // more complex parsing logic here, choosing which token to return
    // based on parsed input
    if unicode.IsDigit(c) || unicode.IsLower(c) {
        lval.val = string(c)
        return CHARACTER
    }

    // do not return any token in case of unrecognized grammer
    // this results in syntax error
    return int(c)
}

func (l *InputLex) Error(s string) {
    fmt.Printf("syntax error: %s\n", s)
}

func main() {
    // same as in calc.y
}

func readline(fi *bufio.Reader) (string, bool) {
    // same as in calc.y
}

要编译并运行此程序,请在命令提示符处执行以下操作:

go tool yacc -o echo.go -p Input echo.y
go run echo.go

如您所见,您必须在Lex方法中定义自己的解析规则。 struct InputLex用于在解析输入时保存值。 InputSymType是自动生成的,由规范的%union部分中声明的declaration定义。

据我所知,没有办法直接使用JISON或正则表达式来使用go yacc工具进行匹配。您可能需要查看其他一些库。

可在此处找到更多详细信息:http://dinosaur.compilertools.net/yacc/

完整的工作代码:https://play.golang.org/p/u1QxwRKLCl