我有一个很大的SQLite文件(100 GB),我想稍微探讨一下。基本上我只想执行像pandas.groupby
这样的简单计算。
不幸的是,任何计算都需要年龄,即使在我的强大机器上也有 10核,128 GB RAM,等。
我该怎么办?在Python中探索这个数据集最合适的方法是什么?
答案 0 :(得分:0)
您是否已经评估了将SQL数据库转换为其他数据库的可能性(例如 NoSQL 数据库)?
假设您的计算机上有超过100GB的RAM,使用REDIS(http://redis.io/)数据库计算可能很容易
在这一点上,您认为数据库转换是可接受的解决方案吗?