Spark Streaming Graceful Shutdown

Question

我看到有一个选项可以在两个地方配置正常关闭：

1. 定义spark conf时：

  

＆＃34; spark.streaming.stopGracefullyOnShutdown＆＃34;，＆＃34; true＆＃34;。

1. 停止流媒体上下文时：

  

JavaStreamingContext scc;

     

scc.stop（真，真）

这两个选项之间有什么区别？

由于

Answer 1

第一种方式

sparkConf.set(“spark.streaming.stopGracefullyOnShutdown","true") 

  

在spark配置中将此参数设置为True可确保   在新Spark版本中正常关闭（1.4以后）   应用。我们也不应该使用第一个显式关闭钩子   接近或调用驱动程序中的ssc.stop方法   参数。我们可以设置这个参数，然后调用方法   ssc.start()和ssc.awaitTermination()。无需致电ssc.stop   方法。否则应用程序可能会在关机期间挂起。

第二种方式 scc.stop(true,true)

  

scc.stop()方法的第一个布尔参数用于停止   关联的spark上下文，而第二个布尔参数是   优雅关闭流式上下文

chandan prakash

明确提到here

希望这有帮助！