大量的数据，我需要帮助找到一种方法

Question

用Python编写了一个处理用于生成图形的大量数据的应用程序。我需要帮助找到一种技术，允许用户在两​​个方向上滚动数据，同时在图形中显示数据的一部分。理想情况下，只能从数据库中读取可见的数据。

我目前正在使用Pandas，Sqlalchemy和bqplot的组合，但如果有更好的软件包来实现所需的功能，我愿意改变。

Sqlalchemy似乎是处理数据库的一个不错的选择，但我发现文档很难理解，需要在正确的方向上轻推。任何帮助或建议将不胜感激。

谢谢， 史蒂夫

Answer 1

您可以将数据存储在网格中，网格的每个矩形都是用户显示的大小：

这样，您最多需要加载4个矩形。

至于数据库，sqlalchemy很棒，但它确实很花哨的ORM你不需要的东西。事实上，根据经验，如果您不打算进行表连接（根据您的描述，您不是），您根本不需要SQL数据库，而是一个大型的键值商店。例如，这是一个pymongo tutorial，但只需选择适合您的任何键值存储。