每当我调用它时,Spark RDD就会持续存在

时间:2016-11-09 22:35:57

标签: scala apache-spark machine-learning

我有以下代码

val dfTransformationToRDD = findLastActiveUsersByEvents(df).withColumn(RedshiftEventEnum.WEIGHT, FunctionsUDFUtil.weightEventUDF(df("type"))).rdd
if(dfTransformationToRDD.getStorageLevel == StorageLevel.NONE){
  println("im persisting ")
  dfTransformationToRDD.persist(StorageLevel.MEMORY_AND_DISK)
}

我确认这个RDD有storageLevel所以我可以知道它的缓存但每次调用这个函数它总是进入if块我做错了什么或者我误解了这个?

0 个答案:

没有答案