保持在Flask中加载大文件

Question

我正在编写一个“webapp”供我个人使用，打算用我自己的计算机作为服务器运行。它基本上是一个很好的数据可视化界面。这个应用程序需要在Python中操作大型矩阵 - 大约100MB - 并将计算结果返回给浏览器进行可视化。目前我只是将数据存储在csv文件中并在每次我想使用它时将其加载到pandas中，但这非常慢（大约15秒）。有没有办法让这个对象（一个pandas.DataFrame）在内存中保留，或者这没有意义吗？

我尝试了memcached，我觉得这不合适。我也试过使用Redis但是如果我将每个矩阵行存储在它自己的键下，那么从缓存中读取实际上与读取文件的速度相同，如果我将它全部存储在相同键下的字符串中，那么从字符串重构数组和从csv文件中读取它一样慢。所以没有任何收获。

Answer 1

考虑到应用程序应该在您的计算机上运行，​​您可以尝试两个选项：

1. 使用Werkzeug的FileStorage数据结构http://werkzeug.pocoo.org/docs/0.11/datastructures/#werkzeug.datastructures.FileStorage
2. 让SQLite在某种RAM文件系统中运行。这样可以更快地更改数据。