加载并操作大于RAM的矩阵 - python - numpy - pandas

Question

我的任务：

1. 从维度大于my的数据库矩阵中加载 RAM使用（pandas.read_sql(...) - 数据库是postresql）
2. 使用numpy
操作此类矩阵的numpy表示（大于我的RAM）

问题：我甚至在从数据库加载数据时得到a memory error。

我的临时快速和肮脏的解决方案：循环上述数据块（因此一次导入部分数据），从而允许RAM处理工作负载。这里的问题与速度有关。时间明显更高，在深入研究Cython优化等之前，我想知道是否有一些解决方案（以数据结构的形式，如使用库shelving或{{1} }）解决问题