Pandas存储1000个数据框对象

Question

我正在开展一项大型项目，该项目进行SPC分析并拥有1000个不同的不相关数据框对象。有没有人知道用于在内存中存储对象的模块？我可以使用python字典，但希望它更精细和功能机制，如锁定，线程安全，谁有它和等待列表等？我正在考虑创建一些像我的本地公共图书馆系统一样的东西。它为一个所有者检查和出书的方式......等等。

Answer 1

HDF5-pytables是pandas非常好的存储后端。

Pytables可以扩展为像文件系统一样进行管理但如果您需要任何类型的多访问，必须小心（如果您确实需要，请使用提供这些功能的传统数据库） ）

Answer 2

带有redis-py的Redis是一种解决方案。 Redis非常快，并且有很好的Python绑定。如上所述，Pytables也是一个不错的选择。 PyTables是HDF5，非常快。