如何在java上停止火花流？

Question

我是火花流媒体的初学者。我正在使用spark streaming生成和使用消息。但我无法阻止消费者。实际上，当制作人没有发送任何消息时，我需要停止流式传输。有人可以用 java 代码帮助我。如果可能的话，给我一个小的示例代码来阻止java上的流式传输。

我正在使用spark版本2.2.0

conf.set("spark.streaming.stopGracefullyOnShutdown","true");
// Execute the Spark workflow defined above
streamingContext.start();
try {
    streamingContext.awaitTermination();
} catch (Exception e) {
    // e.printStackTrace();
}

Answer 1

stream不知道数据是否结束。 如果你确定数据已经结束，也许你可以杀死job。

$spark-submit --master $masterurl --kill $driverid

您可以在driverid找到jobWEBUI。