如何检查Spark RDD是否在内存中？

Question

我有一个org.apache.spark.rdd.RDD [MyClass]的实例。 如何以编程方式检查实例是否为persist \ inmemory？

Answer 1

你想要RDD.getStorageLevel。如果为空，它将返回StorageLevel.None。但是，只有在标记为缓存时才会这样。如果您想要实际状态，可以使用开发者API sc.getRDDStorageInfo或sc.getPersistentRDD

Answer 2

您可以调用rdd.getStorageLevel.useMemory来检查它是否在内存中，如下所示：

using(var connection = new Connection())
{
}