Question

我正在尝试调整我的HPC群集（我使用Sparklyr），并尝试收集http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/指定的一些重要规格：

为了让所有这些更加具体，这里有一个有用的配置Spark应用程序以使用尽可能多的群集的示例可能：想象一个集群有六个运行NodeManagers的节点配备16核和64GB内存。

即：

节点数
核心数
磁盘空间和RAM

我知道如何使用for($a=1; $a<=4; $a++){ if ($_FILES['image'.$a]['error'] == 0) { $diretor = "../images/imprensa/".basename($_FILES['image'.$a]['name']); $image = $_FILES['image'.$a]['tmp_name']); if(move_uploaded_file($image, $diretor)){ echo "yey"; }else{ echo "Oh"; } } }，但我看到太多内核，我无法轻易获取此信息。有没有更简单的方法来了解我的集群的整体规格？

最终，我试图找到一些合理的参数 sinfo -n -l --num-executors和--executor-cores

Answer 1

节点数：

sinfo -O "nodes" --noheader

核心数量：Slurm＆＃34;核心＆＃34;默认情况下，核心数每个插槽，而不是节点上可用的核心总数。有点令人困惑的是，在Slurm中，cpus = cores * sockets（因此，一个双处理器，6核的机器将有2个插槽，6个内核和12个cpus）。

核心数量（= Slpm中的cpus），磁盘空间和RAM更难获得，因为它可能在不同节点上有所不同。以下内容返回一个易于解析的列表：

sinfo -N -O "nodehost,disk,memory,cpus" --noheader

如果所有节点都相同，我们可以从sinfo的第一行获取信息：

每个节点的核心数（= Slurm cpus）：

sinfo -N -O "cpus" --noheader | head -1

每个节点的RAM：

sinfo -N -O "memory" --noheader | head -1

每个节点的磁盘空间：

sinfo -N -O "disk" --noheader | head -1

获取节点数，代码数和可用于调整的RAM

1 个答案: