我是python的新手。我试图通过mmap为庞大的数据构建一个本地数据库。 数据写为:
import os
import mmap
import cPickle as pickle
import operator
from functools32 import lru_cache
with open(path + '.data', 'wb') as f:
index = []
for key, value in iter_kvs:
index.append((key, f.tell()))
mmdict.serialise(value, f)
with open(path + '.index','wb') as f:
mmdict.serialise(index, f)
问题是我的机器无法完成整个数据集的处理并立即存储。我想知道的是,例如,如果在一次运行中,单词cat
被用作索引,值为10
,并且在下一次运行时在数据{{1}的不同分区上运行再次找到值cat
,第一个索引会更新吗?或者是否会添加新索引?
我很乐意更新问题,以便在需要时提供更多信息。
提前谢谢。