是否可以从spark作业获取群集的物理设置?

时间:2018-09-13 18:07:17

标签: scala apache-spark

我知道

spark.sparkContext.statusTracker

但是我只能访问Executors的数量和活动Tasks的数量。

我想知道是否可以获取有关物理机的信息?像CPU,内存等的数量一样……我在EC2上托管了一个集群,我希望能够在集群配置的主日志中跟踪以下内容:

 6 r3.2xlarge 16 CPU 12 GB
 12 r3.xlarge 8 CPU 12GB RAM

^这里的数字是bs,但这是为了让我对要打印的信息类型有所了解。

谢谢。

0 个答案:

没有答案