Spark流式传输:批处理间隔与窗口

时间:2016-06-29 19:58:46

标签: apache-spark spark-streaming

我有使用kafka消息的spark流应用程序。我想要处理所有最后10分钟的消息。 看起来有两种方法可以完成工作:

val ssc = new StreamingContext(new SparkConf(), Minutes(10))
val dstream = ....

val ssc = new StreamingContext(new SparkConf(), Seconds(1))
val dstream = ....
dstream.window(Minutes(10), Minutes(10))

我只是想澄清它们之间是否有任何性能差异

0 个答案:

没有答案