是否可以通过Spark Context访问RDD分区信息?

时间:2019-06-08 16:12:25

标签: scala apache-spark caching rdd

我是Apache Spark的新手,我使用的是为Hadoop 2.7预先构建的2.4.3版本。我需要收集有关RDD缓存的分区信息。我想从SparkContext sc中获得与在Web Ui中看到的相同信息,进入“存储”选项卡-> RDD详细信息页面,尤其是Block NameStorage LevelSize in Memory,{ {1}},Size on Disk用于缓存的每个RDD。

我尝试从Executors调用getRDDStorageInfo,但是它返回的Spark Context对象仅包含分区数,而不包含分区详细信息。

RDDInfo

是否可以通过Spark Context获取每个现有分区的分区详细信息?

0 个答案:

没有答案