没有持久性或缓存性，Spark在每次操作时都不会从磁盘读取数据吗？

Question

为简单起见，用伪代码，如果我做myDF = spark.read.option('inferSchema', True).json(someFiles)然后我做myDF.count()会引起两次从磁盘读取数据吗？

Answer 1

• 如果DAG仅包含狭窄的转换，Spark将读取每个动作的数据。
• 实际上，在您的情况下，尽管只有一个动作-Why does SparkSession execute twice for one action?
，它将读取两次数据
• 如果DAG包含广泛的转换，Spark在某些情况下可以重用随机播放文件-What does "Stage Skipped" mean in Apache Spark web UI?-但是在这里不会发生。