大型词典的Python内存错误

时间:2015-07-18 18:41:48

标签: python dictionary

我有270000本书被很多人评价,我需要存储一本书与所有其他剩余书籍的偏差(就像任意数字一样)。所以就像我在词典中有270000个外键和每个键都有外键我再次有270000个键,偏差作为每个键的值...

所以最后字典结构是{1:{1:x1,2:x2,...... 270000:x270000},2:{},.......... 270000:{其中1,2,.... 270000是书籍密钥,x1,x2..x270000是偏差,每个子词典的格式与密钥' 1'

当我在程序中创建这个词典时,我得到了python内存错误,但我需要这个进一步继续。

如何解决这个问题?

请帮助

1 个答案:

答案 0 :(得分:0)

使用pandas DataFrame。您可以阅读here并尝试优化您的代码和数据结构。

也许您根本没有使用目录结构,但是您可以通过numpy数组实现您的任务,numpy数组也是一种内存高效的数据结构,但是我们应该更多地了解您的数据来决定它。