以编程方式确定Spark可用的内核数量和内存量

Question

Spark Web UI显示了一些有关整个群集可用资源的有趣信息。

我特别感兴趣的是：

• 工
• 芯
• 内存

如何以编程方式查询有关整个群集的这些信息？

Answer 1

Spark并没有真正公开这种信息，它们都隐藏在Master中并转移到了WebUI。

然而，您可以使用小型黑客，WebUI通过将/ json /附加到页面来支持JSON。

因此，转到http://<master-host>:<master-port>/json/只会返回您正在寻找的信息：

{
  url: "spark://<host>:<port>",
  workers: [ ],
  cores: 0,
  coresused: 0,
  memory: 0,
  memoryused: 0,
  activeapps: [ ],
  completedapps: [ ],
  activedrivers: [ ],
  status: "ALIVE"
}