如何确定运行Spark作业时缓存的最大内存量？

Question

有谁能告诉我如何确定运行Spark作业时缓存的最大内存量？我需要这个来显示我的算法对各种输入大小的性能（内存利用率）。

提前致谢

Answer 1

Spark通过REST API为运行和已完成的作业公开了一些方法

1. http：//：4040 / api / v1 - 用于运行应用程序
2. http：//：18080 / api / v1 - 仅适用于已完成的应用程序，只有配置了历史记录服务器。

以下是2个可以帮助您的API： -

1. / applications / [app-id] / storage / rdd - 提供存储的RDD列表 对于给定的应用程序。
2. / applications / [app-id] / storage / rdd / [rdd-id] - 存储详细信息 给定RDD的状态。

请参阅Spark Doc了解所有公开的REST端点 - http://spark.apache.org/docs/latest/monitoring.html