缓存Spark中有多少个RDD

Question

我有一个spark应用程序，它根据数据集在运行时缓存RDD并执行操作。

出于监控目的，我想在应用程序运行时找出缓存中的RDD数量，Spark是否提供了任何API来查找这些详细信息？

Answer 1

可以使用提供两个端点的Spark REST API：

• /applications/[app-id]/storage/rdd - 所有存储的RDD列表。
• /applications/[app-id]/storage/rdd/[rdd-id] - 特定RDD的详细信息。