在Mesos Web UI中,我可以在表中看到我的Spark执行器的内存使用情况
Agents -> Framework -> Executors
有一个表格列出了我的Spark驱动程序的所有执行程序,它们的内存使用情况显示在Mem (Used / Allocated)
列中。
有没有办法直接通过链接获取此号码,如果是,如何?
例如,我可以通过http://IP/mesos/metrics/snapshot获取一堆Mesos指标,但执行程序的内存使用量不是其中之一。
答案 0 :(得分:0)
执行程序的内存使用实际上与mesos任务有关,每个任务都意味着执行程序将消耗多少内存。
如果您需要以上内容,可以使用以下rest api获取json,然后解析从中使用的内存。
http://mesos_ip:5050/master/tasks
FYI。
答案 1 :(得分:0)
自己找到答案。对于可以运行执行程序的每个worker / agent,可以在此处直接访问内存信息:
http://IP_of_worker1:5051/slave(1)/monitor/statistics
http://IP_of_worker2:5051/slave(1)/monitor/statistics
等
内容采用json的形式,framework_id允许查找相关的执行程序及其内存消耗,cpu使用情况等表中给出的内容。