从nltk树中获取单词的深度

时间:2016-11-20 23:26:51

标签: python tree nlp nltk spacy

我正在开发一个nlp项目,我希望根据它在依赖关系树中的位置来过滤掉单词。

要绘制树,我正在使用此post中的代码:

def to_nltk_tree(node):

    if node.n_lefts + node.n_rights > 0:
        return Tree(node.orth_, [to_nltk_tree(child) for child in node.children])
    else:
        return node.orth_

对于一个例句:

“世界各地的一群人突然心理上联系在一起”

我得到了这棵树:

enter image description here

从这棵树中我想得到的是一个元组列表,其中包含单词及其在树中的相应深度:

[(linked,1),(are,2),(suddenly,2),(mentally,2),(group,2),(A,3),(of,3),(people,4)....]

对于这种情况,我对没有孩子的单词不感兴趣:[突然,精神上,A,] 所以到目前为止我能够做到的只是得到有孩子的单词列表,这样做我所以使用这段代码:

def get_words(root,words):
    children = list(root.children)
    for child in children:
        if list(child.children):
            words.append(child)
            get_words(child,words)
    return list(set(words)

[to_nltk_tree(sent.root).pretty_print() for sent in doc.sents]
s_root = list(doc.sents)[0].root
words = []
words.append(s_root)    
words = get_words(s_root,words)
words

[around, linked, world, of, people, group]

从这里我怎样才能得到所需的元组及其各自的深度?

1 个答案:

答案 0 :(得分:1)

您确定代码中的nltk Tree吗? nltk的Tree类没有children属性。使用nltk Tree,您可以使用" treepositions"来做你想做的事,这是树下的路径。每条路径都是分支选择的元组。 " people"的树位置是(0, 2, 1, 0),正如您所看到的,节点的深度就是其树位置的长度。

首先,我得到树叶的路径,以便我可以将它们排除在外:

t = nltk.Tree.fromstring("""(linked (are suddenly mentally 
                                     (group A (of (people (around (world the)))))))""")
n_leaves = len(t.leaves())
leavepos = set(t.leaf_treeposition(n) for n in range(n_leaves))

现在很容易列出非终端节点及其深度:

>>> for pos in t.treepositions():
        if pos not in leavepos:
            print(t[pos].label(), len(pos))
linked 0
are 1
group 2
of 3
people 4
around 5
world 6

顺便说一下,nltk树有自己的显示方法。尝试print(t)t.draw(),它会在弹出窗口中绘制树。