SPARK:如何监控Spark集群的内存消耗?

时间:2016-10-13 13:37:41

标签: apache-spark

对不起基本问题,但我自己无法理解。

我试图在Spark UI上弄清楚每个工作者和驱动程序可用和使用了多少内存。

是否有任何直接且简单方式来监控此信息?

我的目标是根据我的数据占据工人和司机的数量来决定我的持久性策略。

P.S。我在Spark 1.6.1上使用独立模式

1 个答案:

答案 0 :(得分:5)

我认为在Executors选项卡中,您将获得所需的信息。如果你有火花,你会在http://localhost:4040/executors/找到它 最好!