Python:我有一个双键列表,这是retreival最有效的存储对象

时间:2012-08-28 23:48:07

标签: python

我正在使用两个包含复杂关系的分层数据集(我不使用SQL),并且它们不共享主要的查找键。我们使用此过程来保持两个数据集同步。

每个数据集当前都存储为字典,数据集的键作为字典的键。确定复杂关系后,我将另一个数据集的键作为属性存储在另一个中。这就产生了创建一些奇怪的帮助函数的需要,然后遵循一些父子关系。

我想知道是否可能有更有效或更快的方法解决这种疯狂,因为我目前必须将两个数据集都传递给处理需要解析关系的函数。

的示例:

leftdataset = {'10000': { 'key': '10000', 'fkey':'asdf', 'parent':'10001'},
               '10001': { 'key': '10001', 'fkey':'qwer', 'parent':''},}
rightdataset= {'asdf': { 'key': 'asdf', 'fkey':'10000', 'parent':'qwer'},
               'qwer': { 'key': 'qwer', 'fkey':'10001', 'parent':''},

为了找到我需要的父母fkey

fkey = dataset[dataset['10000']['parent']]['fkey']

我正在考虑提出一对密钥对的想法,然后寻找我需要的密钥,例如:

keys = [('10000', 'asdf'), ('10001', 'qwer')]

def find_key(key, keyset):
  for keypair in keys:
    if key in keypair:
      k1, k2 = keypair
      if k1 == key:
        return k2
      else:
        return k1

但这听起来效率甚至低于我现在正在做的事情。我只是在走错路吗?

2 个答案:

答案 0 :(得分:2)

根据Mark Ransom的评论,也许你可以组织一个这样的课程:

class Storage(object):

    def __init__(self):

        self._leftdataset = {
            '10000': { 'key': '10000', 'fkey':'asdf', 'parent':'10001'},
            '10001': { 'key': '10001', 'fkey':'qwer', 'parent':''}
        }

        self._rightdataset= {
            'asdf': { 'key': 'asdf', 'fkey':'10000', 'parent':'qwer'},
            'qwer': { 'key': 'qwer', 'fkey':'10001', 'parent':''}
        }

    def get(self, key):
        d1 = self._leftdataset
        d2 = self._rightdataset

        if key in d1:
            left = d1[key]
            right = d2[left['fkey']]
        else:
            right = d2[key]
            left = d1[right['fkey']]

        return left, right

并使用单一查找方法:

s = Storage()

s.get('10000')
# ({'fkey': 'asdf', 'key': '10000', 'parent': '10001'},
#  {'fkey': '10000', 'key': 'asdf', 'parent': 'qwer'})


s.get('qwer')
# ({'fkey': 'qwer', 'key': '10001', 'parent': ''},
#  {'fkey': '10001', 'key': 'qwer', 'parent': ''})

答案 1 :(得分:1)

这种用法对你有吸引力吗?

轻松查找和使用单个条目:

>>> left("10000")
Entry({'parent': '10001', 'key': '10000', 'fkey': 'asdf'})
>>> left("10000")['key']
'10000'
>>> left("10000")['parent']
'10001'

轻松查看父母:

>>> left("10000").parent()
Entry({'parent': '', 'key': '10001', 'fkey': 'qwer'})
>>> left("10000").parent().parent()
>>> left("10001")
Entry({'parent': '', 'key': '10001', 'fkey': 'qwer'})
>>> left("10001") is left("10000").parent()
True

轻松查询相关条目:

>>> left("10001").related()
Entry({'parent': '', 'key': 'qwer', 'fkey': '10001'})
>>> right("qwer")
Entry({'parent': '', 'key': 'qwer', 'fkey': '10001'})
>>> right(left("10001").related()['key'])
Entry({'parent': '', 'key': 'qwer', 'fkey': '10001'})
>>> right("qwer") is left("10001").related()
True

特别是这里是你问题中的例子:父母的外键:

>>> left("10000").parent()['fkey']
'qwer'

如果是这样,那么这是代码!类:

class Entry(object):
    def __init__(self, dataset, d):
        self.dataset = dataset
        self.d = d

    def parent(self):
        return self.dataset.parent_of(self)
    def related(self):
        if not self.dataset.related_dataset:
            raise ValueError("no related dataset specified")
        return self.dataset.related_dataset(self['fkey'])

    def __getitem__(self, k):
        return self.d.__getitem__(k)

    def __repr__(self):
        return "Entry(%s)" % repr(self.d)
    def __str__(self):
        return str(self.d)

class Dataset(object):
    def __init__(self, data):
        self.data = dict((k, Entry(self, v)) for (k,v) in data.items())
        self.related_dataset = None

    def set_related_dataset(self, dataset):
        self.related_dataset = dataset

    def entry(self, key):
        if isinstance(key, Entry): return key
        return self.data[key]
    def __call__(self, key):
        return self.entry(key)

    def parent_of(self, entry):
        entry = self.entry(entry)

        if not entry['parent']:
            return None
        return self.data[entry['parent']]

您提供的数据的使用情况:

leftdata = {'10000': { 'key': '10000', 'fkey':'asdf', 'parent':'10001'},
               '10001': { 'key': '10001', 'fkey':'qwer', 'parent':''},}
rightdata = {'asdf': { 'key': 'asdf', 'fkey':'10000', 'parent':'qwer'},
               'qwer': { 'key': 'qwer', 'fkey':'10001', 'parent':''}}

left = Dataset(leftdata)
right = Dataset(rightdata)
left.set_related_dataset(right)
right.set_related_dataset(left)

说明:将每个dict值包装在Entry类中,并定义__getitem__,以使其可用作dict(或多或少)。有一个Dataset类将主键映射到这些Entry。提供对此数据集的Entry访问权限,并提供方便的方法.parent().related()。要使.related()起作用,请将“相关”数据集设置为set_related_dataset,并将它们全部绑定在一起。

现在你甚至可以只传递Entry,你就可以访问相关的条目而无需传递两个数据集。