标签: scala apache-spark
所以我对RDD's persistence有疑问。假设我有RDD持久MEMORY_AND_DISK,我知道我现在有足够的内存空间被清除,我可以强制磁盘上的数据进入内存。是否有可能告诉spark重新评估开放的RDD内存并移动该信息?
RDD
MEMORY_AND_DISK
基本上我遇到了RDD我遇到问题的问题,整个RDD都没有在内存中结束,直到我多次查询RDD为止。这使得前几次运行极其缓慢。我希望尝试的一件事是最初将RDD设置为MEMORY_AND_DISK,然后将磁盘数据强制重新存入内存。