Question

如果我有一个相当大的数据结构，比如列表或字典，我将它从pickle文件加载到Python中，然后只修改一个或两个记录，我可以只更新文件中的那些记录吗？必须将整个数据结构写回文件？这个想法是为了避免过多和不必要的硬盘活动，特别是写作。

如果我不能这样做，我想我需要升级到数据库？

更新我尝试@ Pynchia的建议使用shelve模块，它完成了存储和修改数据的工作。我只需要确认当我修改单个电话号码字段时，只有那个字段或最多一个记录被写入磁盘，而不是整个数据集。 是这样吗？这是个问题。

import shelve

s = shelve.open('test.dat')
for i in range(3):
    record = {'name': 'ABC'+str(i), 'phone': ((str(i)*3)+'-'+(str(i)*4)),
              'addr': (str(i)*3)+' Main St'}
    s[str(i)] = record
s.close

s = shelve.open('test.dat')
for i in range(3):
    print(s[str(i)])
s.close

s = shelve.open('test.dat')
temp = s['1']
temp['phone']='1-800-GET-PYTHON'
s['1']=temp
s.close

print()
s = shelve.open('test.dat')
for i in range(3):
    print(s[str(i)])
s.close

输出：

{'name': 'ABC0', 'addr': '000 Main St', 'phone': '000-0000'}
{'name': 'ABC1', 'addr': '111 Main St', 'phone': '111-1111'}
{'name': 'ABC2', 'addr': '222 Main St', 'phone': '222-2222'}

{'name': 'ABC0', 'addr': '000 Main St', 'phone': '000-0000'}
{'phone': '1-800-GET-PYTHON', 'addr': '111 Main St', 'name': 'ABC1'}
{'name': 'ABC2', 'addr': '222 Main St', 'phone': '222-2222'}

Answer 1

pickle文件格式是顺序格式。因此，如果您更改一个项目，则至少必须重写文件中该位置后面的所有内容。

不幸的是，我不知道，也无法想象更新单个项目应该如何运作。

根据数据的结构，我看到两种可能性：

可以表示为行且每个字段仅包含少量数据的数据=＆gt;使用像sqlite这样的数据库（还有许多其他数据库，一些面向文档，一些像字典一样）
很少，大数据集=＆gt;使用HDF5容器文件。 HDF5用于存储大型数据集，仅用于访问必要的部分

更新Python Pickle文件

1 个答案: