标签: scala apache-spark caching
我怀疑我的Spark应用程序中的一些缓存语句是不必要的,所以我删除了几个缓存语句。有没有办法在后续运行中验证某些RDD是否必须由Spark重新计算?
修改
这只能用日志语句完成吗?
看起来你最终会得到大量的日志语句,因为它们会为每个执行者输出。