Question

使用python 2（atm）和ruamel.yaml 0.13.14（RedHat EPEL）

我目前正在编写一些代码来加载yaml定义，但是它们被分成多个文件。用户可编辑的部分包含例如。

users:
  xxxx1:
    timestamp: '2018-10-22 11:38:28.541810'
    << : *userdefaults
  xxxx2:
    << : *userdefaults
    timestamp: '2018-10-22 11:38:28.541810'

默认值存储在另一个文件中，该文件不可编辑：

userdefaults: &userdefaults
    # Default values for user settings
    fileCountQuota: 1000
    diskSizeQuota: "300g"

我可以通过同时加载和隐藏字符串，然后通过merged_data = list(yaml.load_all("{}\n{}".format(defaults_data, user_data), Loader=yaml.RoundTripLoader))运行它们来正确处理所有问题，从而一起处理它们。（当不使用RoundTripLoader时，会出现无法解析引用的错误，这是正常的）

现在，我想通过python代码进行一些更新（例如，更新时间戳记），为此，我只需要写回用户部分。这就是事情多毛的地方。我还没有找到一种方法来编写yaml文档，而不是两者都写。

Answer 1

首先，除非您的默认文件中包含多个文档，否则您将不必使用load_all，因为您不必将两个文档连接到一个多文档流。如果您在文档末尾使用格式字符串标记（"{}\n...\n{}"）或带有指令结束标记（"{}\n---\n{}"）您的别名不会从一个文档转移到另一个文档，按照 YAML规范：

别名节点使用不使用锚的错误以前出现在文档中。

锚点必须位于文档中，而不仅仅是流中（它可以包含多个文档）。

我尝试了一些轨迹词，预先填充了已经表示的字典锚节点数：

import sys
import datetime
from ruamel import yaml

def load():
    with open('defaults.yaml') as fp:
        defaults_data = fp.read()
    with open('user.yaml') as fp:
        user_data = fp.read()
    merged_data = yaml.load("{}\n{}".format(defaults_data, user_data), 
                            Loader=yaml.RoundTripLoader)
    return merged_data

class MyRTDGen(object):
    class MyRTD(yaml.RoundTripDumper):
        def __init__(self, *args, **kw):
            pps = kw.pop('pre_populate', None)
            yaml.RoundTripDumper.__init__(self, *args, **kw)
            if pps is not None:
                for pp in pps:
                    try:
                        anchor = pp.yaml_anchor()
                    except AttributeError:
                        anchor = None
                    node = yaml.nodes.MappingNode(
                        u'tag:yaml.org,2002:map', [], flow_style=None, anchor=anchor)
                    self.represented_objects[id(pp)] = node

    def __init__(self, pre_populate=None):
        assert isinstance(pre_populate, list)
        self._pre_populate = pre_populate 

    def __call__(self, *args, **kw):
        kw1 = kw.copy()
        kw1['pre_populate'] = self._pre_populate
        myrtd = self.MyRTD(*args, **kw1)
        return myrtd


def update(md, file_name):
    ud = md.pop('userdefaults')
    MyRTD = MyRTDGen([ud])
    yaml.dump(md, sys.stdout, Dumper=MyRTD)
    with open(file_name, 'w') as fp:
        yaml.dump(md, fp, Dumper=MyRTD)

md = load()
md['users']['xxxx2']['timestamp'] = str(datetime.datetime.utcnow())
update(md, 'user.yaml')

由于基于PyYAML的API需要类而不是对象，因此您需要使用类生成器，它实际上添加了要预先填充的数据元素 yaml.load()带来的苍蝇。

但这是行不通的，因为节点只有在锚定后才被写出确定使用了锚点（即有第二个参考）。所以实际上第一个合并键将作为锚点写出。虽然我很熟悉有了代码库，我无法在合理的时间内使它正常工作。

因此，我只依靠一个事实，那就是只有一个匹配的键 users.yaml的第一个键位于合并更新的转储的根目录级别归档并剥离之前的所有内容。

import sys
import datetime
from ruamel import yaml

with open('defaults.yaml') as fp:
    defaults_data = fp.read()
with open('user.yaml') as fp:
    user_data = fp.read()
merged_data = yaml.load("{}\n{}".format(defaults_data, user_data), 
                        Loader=yaml.RoundTripLoader)

# find the key
for line in user_data.splitlines():
    line = line.split('# ')[0].rstrip()  # end of line comment, not checking for strings
    if line and line[-1] == ':' and line[0] != ' ':
        split_key = line
        break

merged_data['users']['xxxx2']['timestamp'] = str(datetime.datetime.utcnow())

buf = yaml.compat.StringIO()
yaml.dump(merged_data, buf, Dumper=yaml.RoundTripDumper)
document = split_key + buf.getvalue().split('\n' + split_key)[1]
sys.stdout.write(document)

给出：

users:
  xxxx1:
    <<: *userdefaults
    timestamp: '2018-10-22 11:38:28.541810'
  xxxx2:
    <<: *userdefaults
    timestamp: '2018-10-23 09:59:13.829978'

我必须创建一个virtualenv来确保可以使用ruamel.yaml==0.13.14运行以上命令。这个版本是从我小时候开始的（我不会声称自己是无辜的）。从那时起，已经有超过85个版本的库。

我了解您可能无法运行任何东西，但 Python2目前无法编译/使用较新版本。但是呢您真正应该做的是安装virtualenv（可以使用EPEL完成，也可以不使用进一步“污染”您的系统安装），为您正在开发的代码并安装最新版本的ruamel.yaml（以及您的其他图书馆）。如果需要，您也可以这样做要将软件分发到其他系统，只需在那里也安装virtualenv。

我的所有公用事业都在/opt/util下，并得到管理 virtualenvutils个围绕virtualenv封装。

Answer 2

要编写用户部分，您将必须手动拆分yaml.dump()多文件输出的输出，并将适当的部分写回到用户yaml文件。

import datetime
import StringIO

import ruamel.yaml

yaml = ruamel.yaml.YAML(typ='rt')
data = None

with open('defaults.yaml', 'r') as defaults:
    with open('users.yaml', 'r') as users:
        raw = "{}\n{}".format(''.join(defaults.readlines()), ''.join(users.readlines()))
        data = list(yaml.load_all(raw))

data[0]['users']['xxxx1']['timestamp'] = datetime.datetime.now().isoformat()

with open('users.yaml', 'w') as outfile:
    sio = StringIO.StringIO()
    yaml.dump(data[0], sio)
    out = sio.getvalue()
    outfile.write(out.split('\n\n')[1]) # write the second part here as this is the contents of users.yaml

使用ruamel.yaml加载和转储多个Yaml文件（python）

2 个答案: