prolog中的字符串标记化

时间:2011-11-22 06:50:55

标签: prolog tokenize dcg

我在文本文件'grammar.txt'中有以下上下文无关语法

S ::= a S b
S ::= []

我正在打开此文件并能够阅读prolog中的每一行。 现在我想标记每一行并生成一个列表,如

L=[['S','::=','a','S','b'],['S','::=','#']]  ('#' represents empty)

我该怎么做?

1 个答案:

答案 0 :(得分:2)

在DCG中编写规范。我给你基本的(未经测试的),你需要改进它。

parse_grammar([Rule|Rules]) -->
 parse_rule(Rule),
 parse_grammar(Rules).
parse_grammar([]) --> [].

parse_rule([NT, '::=' | Body]) -->
  parse_symbol(NT),
  skip_space,
  "::=",
  skip_space,
  parse_symbols(Body),
  skip_space, !.  % the cut is required if you use findall/3 (see below)

parse_symbols([S|Rest]) -->
  parse_symbol(S),
  skip_space,
  parse_symbols(Rest).
parse_symbols([]) --> [].

parse_symbol(S) -->
  [C], {code_type(C, alpha), atom_codes(S, [C])}.

skip_space -->
  [C], {code_type(C, space)}, skip_space.
skip_space --> [].

这解析整个文件,使用这个顶层:

  ...,
  read_file_to_codes('grammar.txt', Codes),
  phrase(parse_grammar(Grammar), Codes, [])).

你说你一次读取文件1行:然后使用

  ...
  findall(R, (get_line(L), phrase(parse_rule(R), L, [])), Grammar).

HTH