加载YAML保留顺序

时间:2017-05-17 20:48:13

标签: python yaml configuration-files

我有一个Python库,它定义了下一个列表:

config = [
    'task_a',
    ('task_b', {'task_b_opt_1': ' '}),
    ('task_a', {'task_a_opt_1': 42}),
    ('task_c', {'task_c_opt_1': 'foo', 'task_c_opt_2': 'bar'}),
    'task_b'
]

基本上,此列表定义了必须以特定顺序应用并使用定义的参数(如果有)的5个任务。此外,相同的任务可以定义或不使用(使用默认值)。

现在我想扩展库以支持配置文件。为了让最终用户更容易使用YAML文件。所以上面的代码会变成:

task_a:
task_b:
  task_b_opt_1: ' '
task_a:
  task_a_opt_1: 42
task_c:
  task_c_opt_1': 'foo'
  task_c_opt_2': 'bar'
task_b:

这甚至不是有效的YAML文件,因为某些键没有值。所以我有两个问题:

  1. 如何定义空任务?
  2. 如何在Python中加载文件时保留顺序?
  3. 如果这些都不可能,那还有其他解决办法吗?

3 个答案:

答案 0 :(得分:2)

在YAML中,映射定义为不排序。典型的解决方案是使其成为映射列表。但是,值(或偶数键)可能会丢失,在这种情况下它们是隐式null(相当于Python中的None

- task_a:
- task_b:
    task_b_opt_1: ' '
- task_a:
    task_a_opt_1: 42
- task_c:
    task_c_opt_1: 'foo'
    task_c_opt_2: 'bar'
- task_b:

另一种选择是不将没有选项的任务转换为映射,而是使用字符串,只需从这些行中删除:

- task_a
- task_b:
    task_b_opt_1: ' '
- task_a:
    task_a_opt_1: 42
- task_c:
    task_c_opt_1: 'foo'
    task_c_opt_2: 'bar'
- task_b

答案 1 :(得分:1)

首先快速评论:您使用的是列表,而不是数组。此外,您在此数组中使用元组。

无论如何,你可以使用yaml模块,我也将元组更改为列表,因为yaml中没有元组。

from yaml import dump

config = [
    'task_a',
    ['task_b', {'task_b_opt_1': ' '}],
    ['task_a', {'task_a_opt_1': 42}],
    ['task_c', {'task_c_opt_1': 'foo', 'task_c_opt_2': 'bar'}],
    'task_b'
]
print dump(config)

打印:

- task_a
- - task_b
  - {task_b_opt_1: ' '}
- - task_a
  - {task_a_opt_1: 42}
- - task_c
  - {task_c_opt_1: foo, task_c_opt_2: bar}
- task_b

答案 2 :(得分:0)

我可能正在读取这些行,但我认为你的字符串<div style="width: 600px"> <div> Lorem ipsum dolor sit amet, consectetur adipiscing elit. Cras id mi neque. Donec pulvinar quam diam, at accumsan odio pretium ac<span style="float: right;">$xx,xxx.xx</span> </div> <div style="background-color: whitesmoke;"> Balance<span style="float: right;">$xx,xxx.xx</span> </div> <div> Last Payment mm-dd-yyyy<span style="float: right;">$x,xxx.xx</span> </div> </div>'task_a'等每个都会导致创建一个特定类型(类)的对象。您可以使用YAML标记直接指定这些对象类型,从而生成以下YAML文档:

'task_b'

如果您的- !task_a - !task_b task_b_opt_1: ' ' - !task_a task_a_opt_1: 42 - !task_c task_c_opt_1: foo task_c_opt_2: bar - !task_b 实际上是位置参数,则可以使用:

task_X_opt_N

这是IMO更具可读性(当最终用户编辑这些内容时不易出错)。

这些格式中的任何一种都可以通过以下方式加载:

- !task_a
- !task_b
  - ' '
- !task_a
  - 42
- !task_c
  - foo
  - bar
- !task_b

产生相同的输出:

import ruamel.yaml

class Task:
    def __init__(self, *args, **kw):
        if args: assert len(kw) == 0
        if kw: assert len(args) == 0
        self.args = args
        self.opt = kw

    def __repr__(self):
        retval = str(self.__class__.__name__)
        task_letter = retval[-1].lower()
        for idx, k in enumerate(self.args):
            retval += '\n  task_{}_opt_{}: {!r}'.format(task_letter, idx, k)
        for k in sorted(self.opt):
            retval += '\n  {}: {!r}'.format(k, self.opt[k])
        return retval

class TaskA(Task):
    pass


class TaskB(Task):
    pass


class TaskC(Task):
    pass



def default_constructor(loader, tag_suffix, node):
    assert tag_suffix.startswith('!task_')
    if tag_suffix[6] == 'a':
        task = TaskA
    elif tag_suffix[6] == 'b':
        task = TaskB
    elif tag_suffix[6] == 'c':
        task = TaskC
    else:
        raise NotImplementedError('Unknown task type' + tag_suffix)
    if isinstance(node, ruamel.yaml.ScalarNode):
        assert node.value == ''
        return task()
    elif isinstance(node, ruamel.yaml.MappingNode):
        val = loader.construct_mapping(node)
        return task(**val)
    elif isinstance(node, ruamel.yaml.SequenceNode):
        val = loader.construct_sequence(node)
        return task(*val)
    else:
        raise NotImplementedError('Node: ' + str(type(node)))

ruamel.yaml.add_multi_constructor('', default_constructor,
                                  constructor=ruamel.yaml.SafeConstructor)


with open('config.yaml') as fp:
    tasks = ruamel.yaml.safe_load(fp)
    for task in tasks:
        print(task)

如果由于某种原因你需要使用旧的PyYAML,你可以导入它并使用以下命令添加构造函数:

TaskA
TaskB
  task_b_opt_1: ' '
TaskA
  task_a_opt_1: 42
TaskC
  task_c_opt_1: 'foo'
  task_c_opt_2: 'bar'
TaskB

您必须注意PyYAML仅支持YAML 1.1而不支持YAML 1.2