设计在SQL Server事务数据上执行的实时聚合

时间:2018-05-09 20:16:26

标签: c# sql-server mapreduce

我有一个.NET应用程序触发事件并在SQL Server中存储刻度数据。交易数据每天约为5 GB。由于与数据源相关的原因,我只能很难修改处理事件以执行聚合的.NET应用程序。

我正在尝试找出实时的最佳方法,最好是使用C#(虽然我也知道Python)实时自动聚合数据的方法。

有没有人对此有任何想法?我已经考虑过减少地图,但似乎会有延迟。我真的想避免构建.NET应用程序,因为我无法使用Visual Studio进行调试。

1 个答案:

答案 0 :(得分:0)

您需要多少实时时间?显而易见的解决方案是每分钟左右运行一个作业来聚合最新的详细数据并将其加载到汇总表中。

您还可以使用Indexed View甚至触发器来在数据加载时维护聚合。