Question

我正在学习如何解析简单的程序。

这是我的词法分析员。

{
open Parser
  exception SyntaxError of string
}

let white = [' ' '\t']+

let blank = ' '


let identifier = ['a'-'z']


rule token = parse
  | white {token lexbuf} (* skip whitespace *)
  | '-' { HYPHEN }
  | identifier {
    let buf = Buffer.create 64 in
    Buffer.add_string buf (Lexing.lexeme lexbuf);
    scan_string buf lexbuf;
    let content = (Buffer.contents  buf) in
    STRING(content)
  }
  | _ { raise (SyntaxError "Unknown stuff here") }

and scan_string buf = parse
  | ['a'-'z']+ {
    Buffer.add_string buf (Lexing.lexeme lexbuf);
    scan_string buf lexbuf
  }
  | eof { () }

我的＆＃34; ast＆＃34;：

type t =
    String of string
  | Array of t list

我的解析器：

%token <string> STRING
%token HYPHEN

%start <Ast.t> yaml
%%

yaml:
  | scalar { $1 }
  | sequence {$1} 
  ;

sequence:
  | sequence_items {
    Ast.Array (List.rev $1)
  }
  ;

sequence_items:
   (* empty *) { [] }
  | sequence_items HYPHEN scalar {
    $3::$1

  };

scalar:
  | STRING { Ast.String $1 }  
  ;

我目前处于要么解析普通字符串＆＃39;的地步，即 some text或＆＃39;数组＆＃39; ＆＃39;字符串＆＃39;，即- item1 - item2。

当我用Menhir编译解析器时，我得到：

Warning: production sequence -> sequence_items is never reduced.
Warning: in total, 1 productions are never reduced.

我很擅长解析。为什么这从未减少过？

Answer 1

您声明您的解析器入口点为main

%start <Ast.t> main

但我无法在您的代码中看到main制作。也许入口点应该是yaml？如果改变了 - 错误是否仍然存在？

另外，尝试将EOF令牌添加到词法分析器和入门级制作中，如下所示：

parse_yaml: yaml EOF { $1 }

请参见此处：https://github.com/Virum/compiler/blob/28e807b842bab5dcf11460c8193dd5b16674951f/grammar.mly#L56

下面的Real World OCaml链接还讨论了如何使用EOL - 我认为这将解决您的问题。

顺便说一句，你在OCaml中编写一个YAML解析器真的很酷。如果是开源的，它对社区真的很有用。请注意，YAML是缩进敏感的，因此要使用Menhir解析它，您需要通过词法分析器生成某种INDENT和DEDENT标记。此外，YAML是JSON的严格超集，这意味着它可能（或可能不）从JSON子集开始然后扩展它。 Real World OCaml展示了如何使用Menhir编写JSON解析器：

https://dev.realworldocaml.org/16-parsing-with-ocamllex-and-menhir.html

ocaml menhir解析器生产从未减少

1 个答案: