一旦在SparkSession中停止,如何手动重新启动Spark上下文

时间:2020-04-12 15:37:20

标签: scala apache-spark

对于我的应用程序,我创建了一个SparkSession并希望能够停止和重新启动SparkSession内部的spark上下文。这个想法是,当spark上下文处于空闲状态时,它将被关闭,然后当有新的活动进入时,spark上下文需要重新启动。除了创建新的SparkContext之外,我似乎找不到其他方法可以重启SparkContext,并且在现有的SparkSession中也无法创建新的SparkContext。

如果我关闭了SparkSession并创建了一个新会话,它会在不干扰我所拥有的其他上下文(例如sqlContext)的情况下重新创建sparkContext?无论如何,是否只是关闭特定的sparkContext然后重新启动它?

编辑:我忘了提及我们因为使用H2O而无法打开自动缩放功能。因此,我们希望能够在空闲时将其关闭以节省资源

0 个答案:

没有答案