Spark Jobserver max-jobs-per-context

Question

如何确定max-jobs-per-context设置的安全最大阈值，该设置控制在上下文中运行的并发Spark作业的数量？如果你走得太高会怎么样？默认设置为8（请参阅下面的链接），我想将其设置得更高，但我不确定如果将其设置得太高会发生什么。

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/main/resources/application.conf

Answer 1

我们在生产中使用的方法是在spark jobserver前面放置一个队列并控制作业提交。 SJS中没有内置的排队机制。