在Slurm上运行Spark

Question

如何在Slurm群集上运行Spark？我很感兴趣在我的程序中定义SparkContext并设置我想要使用的节点数，但如果我必须为它编写一些bash脚本，那也没关系。

Answer 1

Magpie（https://github.com/llnl/magpie）是一个shell脚本包，用于在传统HPC集群（例如由SLURM管理的集群）之上运行大数据应用程序（例如Spark）。它为您管理排队作业的大部分复杂性，但您可能仍需要修改提交脚本以适合您自己的Spark应用程序 - 有关详细信息，请参阅文件submission-scripts/script-sbatch/magpie.sbatch-spark。

Answer 2

您有两种选择。

1. 只需使用Spark的独立模式与Slurm一起使用 确实。这意味着在资源上分配一个静态资源子集 将机器定位到每个系统。
2. 将Slurm实现为群集选项 对于Spark。这对于真正的管理和分享来说是最好的 资源，但更难，因为你必须弄清楚Spark的 聚类抽象并正确实现它们。你可以 首先看看如何实施YARN或Mesos支持。