准备百万行数据以进行可视化

Question

我们希望开发一个基于Web的应用程序，它能够使用数百万行数据生成报告，并且每秒都在增长。我们正在使用Mysql数据库。

我们希望使用此数据生成报告。这就是为什么我们需要过滤数据，对其进行一些计算并将其作为图表，表格等提供...建筑图表，表格可以，我询问如何获取数据。

派生报表数据的第一种方法是使用本机SQL查询; 但是，每个报告的过滤和计算都非常缓慢，因此我们将有超过100个可以导出报告的用户。

第二种方式是使用Views; 我们可以为自定义计算和视图构建视图，这是一种处理计算的简单方法，但查询速度很慢。所以过滤会减慢我们的速度。

我不知道我是否可以使用外部工具实时过滤和计算数据。什么是生成报告数据的最佳和最快的方法。

Answer 1

数据库级别的过滤应该比其他方式更快。由于我没有太多关于您的数据库，表和查询的信息，您可以尝试修改表模式，在过滤器列上添加键，使用解释查询，在where子句中更改过滤器列的顺序，仅拉动必要的列等等从后端到前端传输尽可能少的数据等。做客户端所需的额外数据操作。 希望这有点帮助。