我可以通过mmap逐步构建文件吗?

时间:2018-05-24 13:41:16

标签: python python-2.7 pickle mmap

我是python的新手。我试图通过mmap为庞大的数据构建一个本地数据库。 数据写为:

import os
import mmap
import cPickle as pickle
import operator
from functools32 import lru_cache
with open(path + '.data', 'wb') as f:
    index = []
    for key, value in iter_kvs:
        index.append((key, f.tell()))
        mmdict.serialise(value, f)
with open(path + '.index','wb') as f:
    mmdict.serialise(index, f)

问题是我的机器无法完成整个数据集的处理并立即存储。我想知道的是,例如,如果在一次运行中,单词cat被用作索引,值为10,并且在下一次运行时在数据{{1}的不同分区上运行再次找到值cat,第一个索引会更新吗?或者是否会添加新索引?

我很乐意更新问题,以便在需要时提供更多信息。

提前谢谢。

0 个答案:

没有答案