我们需要解析包含重复键的YAML文件,并且所有这些都需要解析。跳过重复是不够的。我知道这是违反YAML规范的,我不想这样做,但是我们使用的第三方工具可以实现这一用途,我们需要处理它。
文件示例:
build:
step: 'step1'
build:
step: 'step2'
解析后,我们应该有类似的数据结构:
yaml.load('file.yml')
# [('build', [('step', 'step1')]), ('build', [('step', 'step2')])]
dict
不能再用于表示已解析的内容。
我正在寻找Python的解决方案,我找不到支持这个的库,我错过了什么吗?
或者,我很乐意写自己的东西,但希望尽可能简单。 ruamel.yaml
看起来像是Python中最先进的YAML解析器,它看起来适度可扩展,是否可以扩展为支持重复字段?
答案 0 :(得分:4)
PyYAML将默默覆盖第一个条目,如果与遗留API一起使用,ruamel.yaml¹将提供DuplicateKeyFutureWarning
,并使用新API提升DuplicateKeyError
。
如果您不想为所有类型创建完整的Constructor
,则覆盖SafeConstructor
中的映射构造函数应该可以完成工作:
import sys
from ruamel.yaml import YAML
from ruamel.yaml.constructor import SafeConstructor
yaml_str = """\
build:
step: 'step1'
build:
step: 'step2'
"""
def construct_yaml_map(self, node):
# test if there are duplicate node keys
data = []
yield data
for key_node, value_node in node.value:
key = self.construct_object(key_node, deep=True)
val = self.construct_object(value_node, deep=True)
data.append((key, val))
SafeConstructor.add_constructor(u'tag:yaml.org,2002:map', construct_yaml_map)
yaml = YAML(typ='safe')
data = yaml.load(yaml_str)
print(data)
给出:
[('build', [('step', 'step1')]), ('build', [('step', 'step2')])]
但是,似乎没有必要将step: 'step1'
放入列表中。如果存在重复项,则以下内容仅创建列表(如果需要,可以通过缓存self.construct_object(key_node, deep=True)
的结果进行优化):
def construct_yaml_map(self, node):
# test if there are duplicate node keys
keys = set()
for key_node, value_node in node.value:
key = self.construct_object(key_node, deep=True)
if key in keys:
break
keys.add(key)
else:
data = {} # type: Dict[Any, Any]
yield data
value = self.construct_mapping(node)
data.update(value)
return
data = []
yield data
for key_node, value_node in node.value:
key = self.construct_object(key_node, deep=True)
val = self.construct_object(value_node, deep=True)
data.append((key, val))
给出:
[('build', {'step': 'step1'}), ('build', {'step': 'step2'})]
有些观点:
<<: *xyz
)yaml = YAML()
),则需要更复杂的construct_yaml_map
。如果要转储输出,则应为其实例化一个新的YAML()
实例,而不是重新使用用于加载的“修补”实例(它可能有效,这只是为了确定):
yaml_out = YAML(typ='safe')
yaml_out.dump(data, sys.stdout)
给出(带有第一个construct_yaml_map
):
- - build
- - [step, step1]
- - build
- - [step, step2]
什么在PyYAML中不起作用,ruamel.yaml是yaml.load('file.yml')
。如果您不想自己open()
该文件,您可以这样做:
from pathlib import Path # or: from ruamel.std.pathlib import Path
yaml = YAML(typ='safe')
yaml.load(Path('file.yml')
¹免责声明:我是该套餐的作者。
答案 1 :(得分:1)
如果您可以稍微修改输入数据,您应该可以通过将单个类似yaml的文件转换为多个yaml文档来完成此操作。如果yaml文档在一行上由---
分隔,则它们可以位于同一个文件中,并且您可以轻松地将条目分隔两个新行彼此相邻:
with open('file.yml', 'r') as f:
data = f.read()
data = data.replace('\n\n', '\n---\n')
for document in yaml.load_all(data):
print(document)
输出:
{'build': {'step': 'step1'}}
{'build': {'step': 'step2'}}
答案 2 :(得分:0)
您可以覆盖pyyaml加载密钥的方式。例如,您可以将defaultdict与每个键的值列表一起使用:
from collections import defaultdict
import yaml
def parse_preserving_duplicates(src):
# We deliberately define a fresh class inside the function,
# because add_constructor is a class method and we don't want to
# mutate pyyaml classes.
class PreserveDuplicatesLoader(yaml.loader.Loader):
pass
def map_constructor(loader, node, deep=False):
"""Walk the mapping, recording any duplicate keys.
"""
mapping = defaultdict(list)
for key_node, value_node in node.value:
key = loader.construct_object(key_node, deep=deep)
value = loader.construct_object(value_node, deep=deep)
mapping[key].append(value)
return mapping
PreserveDuplicatesLoader.add_constructor(yaml.resolver.BaseResolver.DEFAULT_MAPPING_TAG, map_constructor)
return yaml.load(src, PreserveDuplicatesLoader)