有没有一种方法可以自动关闭Spark / Jupyter会话

Question

我是hadoop管理员和开发人员。我们有一个具有CDH分布的集群。有多个使用集群的团队，并且用户没有主动终止Spark Shell会话或Jupyter Notebook会话。

不是问用户我在想什么，而是可以在代码中设置空闲超时或自动关闭配置

我已经在Google中搜索过，但是没有找到合适的解决方案。如果有人使用过这种配置共享，那将有所帮助。

Answer 1

Jupyter内核会话的空闲超时可以通过Kernel Manager的cull_idle_timeout（检查：https://jupyter-notebook.readthedocs.io/en/stable/config.html）进行配置。

如果您通过Livy使用Spark，则livy.server.session.timeout垃圾会收集非活动的Livy会话。可以在Livy下的conf/livy.conf中指定。默认值为一小时。