小节会话在头节点内存中维持多长时间?

时间:2019-05-14 18:50:26

标签: apache-spark yarn livy

一旦作业发布到livy,它将为其创建一个会话。然后提交火花,将作业提交给纱线,然后纱线执行该作业。直到内存中的livy维持会话到什么时候?直到提交到纱线还是直到纱线完成执行?

1 个答案:

答案 0 :(得分:1)

基本上,这取决于您通过的设置。

无效的会话将在livy.server.session.timeout

之后停止

查看这些属性以在livy.conf中设置

# Enabled to check whether timeout Livy sessions should be stopped.
# livy.server.session.timeout-check = true

# Time in milliseconds on how long Livy will wait before timing out an idle session.
# livy.server.session.timeout = 1h
#
# How long a finished session state should be kept in LivyServer for query.
# livy.server.session.state-retain.sec = 600s