我通过应用一些基本的动手来学习Spark。
以下代码有效。
val fileRDD = sc.textFile("/user/cloudera/words.txt")
val cacheRDD = fileRDD.cache()
但我想知道cache()函数是ACTION还是TRANSFORMATION的一部分?
我们也可以为cache()函数提供参数吗?
我也试过以下代码。
val cacheRDD = fileRDD.cache(org.apache.spark.storage.DISK_ONLY)
但是当我提供上述参数
时,我得到以下错误 too many arguments for method cache :()fileRDD.type
如果我想提供告诉StorageLevel到Cache()函数的参数,我该怎么办?
答案 0 :(得分:0)
我相信你正在寻找坚持。
fileRdd.persist(StorageLevel.DISK_ONLY)