这是我的问题，现在，当我开始使用spark shell时，它会占用大量资源，并可能使它们受限制/保持不动;通过影响其他并行运行的应用程序。
比方说，我正在运行一些spark-shell命令并且意外地让shell打开而不关闭会话，它将保持所有资源，并且所有其他用户都没有任何工作，除非我关闭我的会话
如何从纱线角度解决此问题。
答案 0 :(得分：0)
您可能希望在Cloudera中为Yarn设置资源池使用情况。您可以为每个用户分配一些资源。即使您使用了所有资源，也可以为其他用户提供一些资源。
如果您不想在用户之间拆分纱线资源。您可以将SPARK设置为使用动态分配（请检查http://spark.apache.org/docs/latest/configuration.html中的spark.dynamicAllocation.enabled属性）。因此，如果您打开火花壳并完成工作，那么火花会将资源返还给纱线。 但是在使用动态分配时无法设置执行程序的数量
此致 阿诺