火花串流时更新基础数据

时间:2016-05-18 03:42:30

标签: streaming spark-streaming

对于我的场景,数据a将使用火花流以实时方式从kafka中读取。基于来自rdbms(MySQL等)的数据A,其是累积的T + 1数据,将进行计算,例如,结果= A + a。 接下来的累加数据是B,计算结果为= B + a

我的问题是如何根据rdbms中的T + 1数据对数据求和。

提前谢谢!

1 个答案:

答案 0 :(得分:0)

我们终于通过使用redis来解决这个问题。每天从rdbms导入数据,并以redis更新数据,并在每天结束时将数据导出到rdbms结果表。关闭这个问题,谢谢。