livy - 服务器限制作业数

Question

我正在寻找一些配置，以便将我的livy服务器限制为不超过X核心或工作数量，我看到有人已经在Jira问题中问过这个问题（{{3他回答说Yarn正在这样做，但我不需要纱线，因为我不想控制每个用户的工作/会话，除了spark之外我没有任何其他资源可以管理。

Answer 1

您可以将这些属性作为示例：

livy.spark.driver.cores 1
livy.spark.driver.memory    512m
livy.spark.dynamicAllocation.cachedExecutorIdleTimeout  
livy.spark.dynamicAllocation.enabled    true
livy.spark.dynamicAllocation.initialExecutors   1
livy.spark.dynamicAllocation.maxExecutors   5
livy.spark.dynamicAllocation.minExecutors   1
livy.spark.executor.cores   2
livy.spark.executor.instances   5
livy.spark.executor.memory  2G

Answer 2

从Livy 0.5开始，现在有一个配置设置来限制并行运行的作业数量。该设置称为livy.server.session.max-creation：

// Max creating session in livyServer
val SESSION_MAX_CREATION = Entry("livy.server.session.max-creation", 100)

这是the PR that introduced it。