标签: streaming spark-streaming
对于我的场景,数据a将使用火花流以实时方式从kafka中读取。基于来自rdbms(MySQL等)的数据A,其是累积的T + 1数据,将进行计算,例如,结果= A + a。 接下来的累加数据是B,计算结果为= B + a
我的问题是如何根据rdbms中的T + 1数据对数据求和。
提前谢谢!
答案 0 :(得分:0)
我们终于通过使用redis来解决这个问题。每天从rdbms导入数据,并以redis更新数据,并在每天结束时将数据导出到rdbms结果表。关闭这个问题,谢谢。