Question

我目前面临着不得不从规范的更改源半定期更新（同步）大量的dicts列表，同时保持我自己的更新。非标准合并，最简单的描述可能是： -

A是我自己的dicts列表（由我的程序更新，将缓存值作为附加键包含。
b是从源头定期发送的信息（A最初与b相同）。它包含几个键，但不包含我添加到A中的缓存值。
keys = ['key1', 'key2']是A和B都有的密钥列表（A的密钥多于此。
mkey = 'mtime'是A和b都有的特殊键，表示我应该使A的缓存值无效。

基本上，如果A中的词典与b中的词典匹配，我应该将词汇保留在A中，除非b['mtime'] > A['mtime']。如果某个词典出现在A但不出现在b中，我会将其删除，如果它出现在b但不出现在A中，我会将其添加到A }。

我的圣杯目标是不会丢失A中任何缓存的键值对，但我无法实现这一点。我目前的解决方案如下所示： -

def priority_merge(A, b, keys, mkey):
    retval = []
    b_index = 0
    for elemA in A:
        if b_index >= len(b):
            break  # No more items in b
        elemb = b[b_index]
        minA = { k: elemA[k] for k in keys }
        minb = { k: elemb[k] for k in keys }
        if minA == minb:  # Found a match
            if elemA[mkey] >= elemb[mkey]:
                retval.append(elemA)
            else:  # Check mkey to see if take b instead
                retval.append(elemb)
            b_index = b_index + 1
        else:  # No match, check forward by one
            if b_index+1 >= len(b):
                continue
            elembplus = b[b_index+1]
            minb = { k: elembplus[k] for k in keys}
            if minA == minb:
                retval.append(elemb)  # This is a new element
                if elemA[mkey] >= elembplus[mkey]:
                    retval.append(elemA)
                else:
                    retval.append(elembplus)
                b_index = b_index + 2
    if b_index <= len(b):
        retval.extend(b[b_index:])
    return retval

只要我连续多次添加和/或删除（b相对于A），这样就可以正常工作。因此，如果A包含1,2,3,5和b包含1,2,3,4,5，则可以，但如果A包含1,2,5和{{ 1}}包含1,2,3,4,5这个分解。

我可以检查len（b）在else案例下注释为b，或者首先遍历# No match, check forward by one和A来映射匹配元素，然后再次迭代基于该地图创建retval。这似乎容易出错（我确信它的逻辑可行，但我也很确定我为它编写的代码会有错误）。请推荐一个合适的算法来解决这个问题，无论是我的两个想法还是别的。

Answer 1

正如我所说的哈希方法可以帮助您确保比较，仅基于keys列表，您将能够找到交集元素（要合并的元素）和差异元素。

class HashedDictKey(dict):

    def __init__(self, keys_, **kwargs):
        super().__init__(**kwargs)
        self.keys_ = keys_

    def __hash__(self):
        return hash(tuple(sorted((k, self.get(k)) for k in self.keys_)))

    def __eq__(self, other):
        return  hash(self) == hash(other)

def merge(A, B):

    to_be_added = []
    to_be_del = []
    to_be_updated = []

    def get(obj, it):
        for i in it:
            if obj == i:
                return i
        raise ValueError("No %s value" % obj)

    for a, b in zip_longest(A, B):
        if a in B:
            to_be_updated.append(a)
        if a not in B:
            to_be_del.append(a)
        if b not in A:
            to_be_added.append(b)

    for i in to_be_del:
        A.remove(i)

    for j in to_be_added:
        A.append(j)

    for i in to_be_updated:
        a = get(i, A)
        b = get(i, B)
        if b['mtime'] > a['mtime']:
            A.remove(a)

here the complete snippet

从新的dicts列表更新有序的dicts列表（优先级合并）

1 个答案: