Spark StorageLevel - 何时使用MEMORY_ONLY_2，MEMORY_AND_DISK_2等？

Question

RDD的优点默认情况下是Resilient，它可以根据沿袭图重建破坏的分区。

那么为什么我们需要使用Storage Levels MEMORY_ONLY_2，MEMORY_AND_DISK_2等，这基本上是复制两个群集节点上的每个分区。

Answer 1

如果您需要更高的可靠性，请使用它。如果任何节点拒绝并且不重新计算RDD，则恢复数据。