为什么Spark中没有cache()函数的参数?

时间:2016-05-24 06:39:27

标签: apache-spark

我通过应用一些基本的动手来学习Spark。

以下代码有效。

val fileRDD = sc.textFile("/user/cloudera/words.txt")
val cacheRDD = fileRDD.cache()

但我想知道cache()函数是ACTION还是TRANSFORMATION的一部分?

我们也可以为cache()函数提供参数吗?

我也试过以下代码。

val cacheRDD = fileRDD.cache(org.apache.spark.storage.DISK_ONLY)

但是当我提供上述参数

时,我得到以下错误
 too many arguments for method cache :()fileRDD.type

如果我想提供告诉StorageLevel到Cache()函数的参数,我该怎么办?

1 个答案:

答案 0 :(得分:0)

我相信你正在寻找坚持。

fileRdd.persist(StorageLevel.DISK_ONLY)