Spark Stream Processing如何设置计算?

时间:2018-04-14 21:45:16

标签: java apache-spark spark-streaming

关于火花流处理的工作方式,我有一个基本的问题。

here中,有一个块表示:“请注意,当执行这些行时,Spark Streaming仅设置它在启动后将执行的计算,并且尚未开始实际处理。在设置了所有转换后开始处理,我们最后调用start方法。“

我无法消化上述说明。 理想情况下,计算属于一个函数,并以某种方式要求“ssc.start()”在循环中执行此函数。 但是在这里,首先执行核心计算,然后启动流式上下文。这有什么意义呢?

QWebEngineView()

1 个答案:

答案 0 :(得分:0)

  

但是在这里,首先执行核心计算,然后启动流式上下文。这有什么意义呢?

因为“核心计算”不是“计算”。如果StreamingContext已经开始并且是否有任何数据被接收,则说明要做什么。

如果仍然不清楚 -