原理是什么?当Spark处理大于内存容量的数据时?

时间:2014-04-23 02:35:48

标签: java scala apache-spark

据我所知,Spark使用内存来缓存数据然后计算内存中的数据。但是如果数据大于内存怎么办? 我可以阅读源代码,但我不知道哪个班级做日程安排工作? 或者你能解释一下Spark如何处理这个问题的原理吗?

1 个答案:

答案 0 :(得分:0)

om-nom-nom给出了答案,但由于某些原因仅作为评论,所以我认为我会将其作为实际答案发布:

https://spark.apache.org/docs/latest/scala-programming-guide.html#rdd-persistence