如何获取Mesos Agents Framework Executor Memory

时间:2018-06-04 14:13:44

标签: apache-spark mesos

在Mesos Web UI中,我可以在表中看到我的Spark执行器的内存使用情况

Agents -> Framework -> Executors

有一个表格列出了我的Spark驱动程序的所有执行程序,它们的内存使用情况显示在Mem (Used / Allocated)列中。

有没有办法直接通过链接获取此号码,如果是,如何?

例如,我可以通过http://IP/mesos/metrics/snapshot获取一堆Mesos指标,但执行程序的内存使用量不是其中之一。

2 个答案:

答案 0 :(得分:0)

执行程序的内存使用实际上与mesos任务有关,每个任务都意味着执行程序将消耗多少内存。

如果您需要以上内容,可以使用以下rest api获取json,然后解析从中使用的内存。

http://mesos_ip:5050/master/tasks

FYI。

答案 1 :(得分:0)

自己找到答案。对于可以运行执行程序的每个worker / agent,可以在此处直接访问内存信息:

http://IP_of_worker1:5051/slave(1)/monitor/statistics
http://IP_of_worker2:5051/slave(1)/monitor/statistics

内容采用json的形式,framework_id允许查找相关的执行程序及其内存消耗,cpu使用情况等表中给出的内容。