火花流缓存如何工作?

时间:2017-04-11 15:37:34

标签: apache-spark streaming

通过搜索互联网,我了解到默认情况下,spark stream会将rdd本身缓存一段时间,之后,它将被删除。所以我们不需要显式调用rdd.cache()。我的理解是否正确?此外,我对火花缓存机制有一些疑问,例如:

val rdd = some method to generate rdd
rdd.cache()  //will this rdd still be cached in memory?
rdd = rdd.union(another rdd)

任何机构都可以向我解释这个问题,感谢任何帮助!

0 个答案:

没有答案