从解析树中提取Chomsky-normal-form语法

时间:2014-11-14 02:19:02

标签: python grammar nltk parse-tree chomsky-normal-form

我正在尝试从其解析树中提取Chomsky Normal Form(CNF) - 一个句子的语法产生:

(ROOT
  (S
    (NP (DT the) (NNS kids))
    (VP (VBD opened)
      (NP (DT the) (NN box))
      (PP (IN on)
        (NP (DT the) (NN floor)))))) 

我将整个树放入名为S的字符串中,然后:

tree = Tree.fromstring(S)
tree.chomsky_normal_form()
for p in tree.productions():
    print p

输出

(1) NN -> 'box'
(2) PP -> IN NP
(3) DT -> 'the'
(4) ROOT -> S
(5) NP -> DT NN
(6) VBD -> 'opened'
(7) VP|<NP-PP> -> NP PP
(8) VP -> VBD VP|<NP-PP>
(9) NP -> DT NNS
(10) NN -> 'floor'
(11) IN -> 'on'
(12) NNS -> 'kids'
(13) S -> NP VP

但有些作品(7号和8号)似乎不是CNF!有什么问题?

1 个答案:

答案 0 :(得分:4)

VP|<NP-PP> 一个 非终结符号。垂直条并不意味着传统意义上的多种选择。相反,NLTK将其放在那里以指示规则的来源,即“这个新的非终结符号来自VP和NP-PP的组合”。这是NLTK创建的新生产规则,用于将语法转换为乔姆斯基范式。

看看CNF之前的树的制作:

ROOT -> S
S -> NP VP
NP -> DT NNS
DT -> 'the'
NNS -> 'kids'
VP -> VBD NP PP ***
VBD -> 'opened'
NP -> DT NN
DT -> 'the'
NN -> 'box'
PP -> IN NP
IN -> 'on'
NP -> DT NN
DT -> 'the'
NN -> 'floor'

具体来说,请查看规则VP -> VBD NP PP,它不在CNF中(任何生产规则的RHS上必须有两个非终结符号)

您的问题中的两个规则(7):VP|<NP-PP> -> NP PP和(8):VP -> VBD VP|<NP-PP>在功能上等同于更一般的规则VP -> VBD NP PP

检测到VP时,规则应用程序会生成:

VBD VP|<NP-PP>

而且,VP|<NP-PP>是创建的生产规则的LHS,其结果为:

VBD NP PP

具体来说,如果您孤立规则本身,您可以查看特定符号(确实是单数):

>>> tree.chomsky_normal_form()
>>> prod = tree.productions()
>>> x = prod[7]  # VP|<NP-PP> -> NP PP
>>> x.lhs().symbol()  # Singular!
u'VP|<NP-PP>'