为什么PyYAML使用生成器来构造对象?

时间:2017-01-27 18:35:39

标签: python yaml pyyaml ruamel.yaml

我一直在阅读PyYAML源代码,试图了解如何定义一个可以用add_constructor添加的正确构造函数。我对该代码的工作方式有很好的理解,但我仍然不明白为什么SafeConstructor中的默认YAML构造函数是生成器。例如,construct_yaml_map的方法SafeConstructor

def construct_yaml_map(self, node):
    data = {}
    yield data
    value = self.construct_mapping(node)
    data.update(value)

我理解如何在BaseConstructor.construct_object中如下使用生成器来存根对象,只有在deep=False传递给construct_mapping的情况下才使用来自节点的数据填充它:

    if isinstance(data, types.GeneratorType):
        generator = data
        data = generator.next()
        if self.deep_construct:
            for dummy in generator:
                pass
        else:
            self.state_generators.append(generator)

我了解在BaseConstructor.construct_document deep=False construct_mapping的情况下def construct_document(self, node): data = self.construct_object(node) while self.state_generators: state_generators = self.state_generators self.state_generators = [] for generator in state_generators: for dummy in generator: pass 如何生成数据。

construct_document

我不理解的是利益通过迭代def foo_constructor(loader, node): instance = Foo.__new__(Foo) yield instance state = loader.construct_mapping(node, deep=True) instance.__init__(**state) 中的生成器来截断数据对象并解决对象。是否必须这样做以支持YAML规范中的某些内容,或者它是否提供了性能优势?

This answer on another question有点帮助,但我不明白为什么答案会这样做:

def foo_constructor(loader, node):
    state = loader.construct_mapping(node, deep=True)
    return Foo(**state)

而不是:

--help

我已经测试过后一种形式适用于其他答案上发布的示例,但也许我错过了一些边缘案例。

我使用的是PyYAML版本3.10,但看起来有问题的代码在PyYAML的最新版本(3.12)中是相同的。

1 个答案:

答案 0 :(得分:10)

在YAML中你可以拥有anchors and aliases。有了它,你可以直接或间接地建立自我参照结构。

如果YAML没有这种自引用的可能性,你可以先构建所有子节点,然后一次创建父结构。但是由于自我引用,你可能还没有孩子去填充"您正在创建的结构。通过使用生成器的两步过程(我称之为两步,因为它在到达方法结束之前只有一个产量),您可以部分创建一个对象并用自引用填充它,因为对象存在(即它在内存中的位置被定义)。

好处不在于速度,而在于纯粹因为自我引用成为可能。

如果您从答案中简化示例,请参考以下内容:

import sys
import ruamel.yaml as yaml


class Foo(object):
    def __init__(self, s, l=None, d=None):
        self.s = s
        self.l1, self.l2 = l
        self.d = d


def foo_constructor(loader, node):
    instance = Foo.__new__(Foo)
    yield instance
    state = loader.construct_mapping(node, deep=True)
    instance.__init__(**state)

yaml.add_constructor(u'!Foo', foo_constructor)

x = yaml.load('''
&fooref
!Foo
s: *fooref
l: [1, 2]
d: {try: this}
''', Loader=yaml.Loader)

yaml.dump(x, sys.stdout)

但是如果您将foo_constructor()更改为:

def foo_constructor(loader, node):
    instance = Foo.__new__(Foo)
    state = loader.construct_mapping(node, deep=True)
    instance.__init__(**state)
    return instance

(删除了收益,添加了最终回报),得到ConstructorError:带有消息

found unconstructable recursive node 
  in "<unicode string>", line 2, column 1:
    &fooref

PyYAML应该给出类似的消息。检查该错误的回溯,您可以看到ruamel.yaml / PyYAML尝试解析源代码中的别名。