Spark：报告群集的总数和可用内存

Question

我在Amazon EMR上运行Spark工作;我想继续在程序本身内报告集群的总内存和可用内存。 Spark API中是否有提供集群内存信息的方法？

Answer 1

您可以使用spark.metrics.conf

使用方法： 在spark conf文件中初始化spark.metrics.conf

getattr(self, 'node.{}'.format(self.x))

在上述路径中创建 metrics.properties 文件。在该文件中提及您希望从spark应用程序中获取的参数，甚至可以指定格式和间隔。

例如，我每隔1分钟就会以CSV格式获取数据：

spark.metrics.conf = /path/to/metrics.properties 

您可以在https://spark.apache.org/docs/latest/monitoring.html#metrics

中找到完整的文档