找出RDD是否必须重新计算的最佳方法是什么?

时间:2017-11-17 22:29:54

标签: scala apache-spark caching

我怀疑我的Spark应用程序中的一些缓存语句是不必要的,所以我删除了几个缓存语句。有没有办法在后续运行中验证某些RDD是否必须由Spark重新计算?

修改

这只能用日志语句完成吗?

看起来你最终会得到大量的日志语句,因为它们会为每个执行者输出。

0 个答案:

没有答案