使用mapwithstate性能问题引发流式传输

时间:2018-10-14 06:29:51

标签: apache-spark spark-streaming

我正在实现Spark Streaming Application,其中应用程序对来自Kafka的每个传入消息都以24/7进程运行,它需要进行一些聚合,因此对于这些聚合,我将以前的状态存储在检查点位置。它工作正常,但是在火花流中使用mapwithstate方法会降低时间性能。如何稳定表现? 如果有人帮助我解决了这个问题,我非常感谢。 提前致谢。

0 个答案:

没有答案