重用缓存的Spark RDD

Question

Spark是否有可能在另一个应用程序（或同一应用程序的另一个运行）中重用缓存的RDD？

JavaRDD<ExampleClass> toCache = ... // transformations on the RDD
toCache.cache();                    // can this be reused somehow in another application or further runs?

Answer 1

不，Spark RDD不能用于其他应用程序或其他运行。

您可以将Spark与例如Hazelcast或Apache Ignite连接，以将RDD保存在内存中。其他应用程序将有可能读取第一个应用程序中保存的数据