Question

我试图从SyntaxNet获取JSON格式的依赖树，但我从示例中得到的只是一个Sentence Object，它不提供访问解析对象的访问器，甚至遍历列出的项目。

当我从TensorFlow / SyntaxNet提供的docker文件中运行示例时，我得到的内容如下所示

text: "Alex saw Bob"
token {
  word: "Alex"
  start: 0
  end: 3
  head: 1
  tag: "attribute { name: \"Number\" value: \"Sing\" } attribute { name: \"fPOS\" value: \"PROPN++NNP\" } "
  category: ""
  label: "nsubj"
  break_level: NO_BREAK
}
token {
  word: "saw"
  start: 5
  end: 7
  tag: "attribute { name: \"Mood\" value: \"Ind\" } attribute { name: \"Tense\" value: \"Past\" } attribute { name: \"VerbForm\" value: \"Fin\" } attribute { name: \"fPOS\" value: \"VERB++VBD\" } "
  category: ""
  label: "root"
  break_level: SPACE_BREAK
}
token {
  word: "Bob"
  start: 9
  end: 11
  head: 1
  tag: "attribute { name: \"Number\" value: \"Sing\" } attribute { name: \"fPOS\" value: \"PROPN++NNP\" } "
  category: ""
  label: "parataxis"
  break_level: SPACE_BREAK
}

此对象的类类型为 class＆＃39; syntaxnet.sentence_pb2.Sentence＆＃39; ，其中没有任何文档。

我需要能够以编程方式访问上述输出。

如此question所示，它以字符串格式打印一个表，并没有给我一个程序化的响应。

如何获得响应而不是打印输出。或者我应该为此输出编写解析器..？

Answer 1

TL; DR 最后的代码...

Sentence对象是句子_pb2.Setnence类的实例，该类是从protobuf定义文件（特别是句子.proto）生成的。这意味着，如果查看句子.proto，将看到为该类及其类型定义的字段。因此，您有一个名为“ tag”的字段，它是一个字符串，一个名为“ label”的字段，它是一个字符串，还有一个名为head的字段，它是一个整数，依此类推。从理论上讲，如果您只是使用python的内置函数转换为json，它应该可以工作，但是由于protobuf类是运行时生成的元类，因此它们可能会产生一些不良结果。

所以我要做的是首先创建一个地图对象，其中包含我想要的所有信息，然后将其转换为json：

def parse_attributes(attributes):
    matches = attribute_expression.findall(attributes)
    return {k: v for k, v in matches}

def token_to_dict(token):
    def extract_pos(fpos):
        i = fpos.find("++")
        if i == -1:
            return fpos, "<error>"
        else:
            return fpos[:i], fpos[i + 2:]

    attributes = parse_attributes(token.tag)
    if "fPOS" not in attributes:
        logging.warn("token {} has no fPos attribute".format(token.word))
        logging.warn("attributes are: {}".format(attributes))
        fpos = ""
    else:
        fpos = attributes["fPOS"]

    upos, xpos = extract_pos(fpos)
    return {
        'word': token.word,
        'start': token.start,
        'end': token.end,
        'head': token.head,
        'features': parse_attributes(token.tag),
        'tag': token.tag,
        'deprel': token.label,
        'upos': upos,
        'xpos': xpos
    }

def sentence_to_dict(anno):
    return {
        'text': anno.text,
        'tokens': [token_to_dict(token) for token in anno.token]
    }

如果在句子对象上调用句子_to_dict，您将获得一个漂亮的地图，然后可以将其序列化为json。

如何在SyntaxNet中以JSON格式获取依赖树？

1 个答案: