如何在Python中对100 GB SQLite文件运行简单请求?

时间:2016-01-10 14:43:26

标签: python sql sqlite group-by

我有一个很大的SQLite文件(100 GB),我想稍微探讨一下。基本上我只想执行像pandas.groupby这样的简单计算。

不幸的是,任何计算都需要年龄,即使在我的强大机器上也有 10核,128 GB RAM,等。

我该怎么办?在Python中探索这个数据集最合适的方法是什么?

1 个答案:

答案 0 :(得分:0)

您是否已经评估了将SQL数据库转换为其他数据库的可能性(例如 NoSQL 数据库)?

假设您的计算机上有超过100GB的RAM,使用REDIS(http://redis.io/)数据库计算可能很容易

在这一点上,您认为数据库转换是可接受的解决方案吗?