在X时间不活动后，Zeppelin在YARN上使用Kill Spark应用程序

Question

使用Apache Zeppelin在YARN上运行Spark，即使没有真正使用它，也会消耗X％的队列。

由于我正在运行夜间CRON作业，我想在X分钟不活动后杀死/退出/退出Zeppelin Spark应用程序，因此队列可以免费进行夜间作业。

Answer 1

杀死cron是一个在固定时间（比如凌晨04点）杀死工作的一个不错的工作解决方案。

更优雅的解决方案是将Zeppelin与Livy集成（请参阅https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.1/bk_zeppelin-component-guide/content/zepp-with-spark.html），因为Livy可以配置为在x分钟不活动后终止（然后释放资源）。