管理大型数据集

Question

我正在开发基于Web的数据分析系统，并希望了解管理大型数据集时的最佳实践。我将数据存储在MySQL数据库中并使用php。

例如，如果我想能够动态过滤数据表，我知道有两个选项：

1. 对所有数据一次查询数据库，并使用javascript过滤客户端数据或
2. 每次过滤器更改时执行新查询以更新数据

在我看来，选项1是更好/更快的选项但是当数据集变得非常大（即> 100k行）时这是一个坏主意

也许还有其他更好的方法可以解决这个问题，但截至目前我还没有发现任何建议，所以我们非常感谢任何建议！

由于

Answer 1

最好只根据您的需要查询数据库。

然后你通过ajax加载并在需要时查询你需要的其他部分。

在客户端渲染100k行将花费太多时间;）