可以从不同的火花上下文访问RDD

Question

我是新来的火花。是否可以使用在不同的火花环境中定义的RDD？如果是的话。

IE中。

我们在spark context1中创建一个hive表t1的RDD。

我们能否在不同的火花作业中使用（参考）RDD。

Answer 1

RDD绑定到应用程序，因此无法跨应用程序共享。您只需保留数据（例如，在HDFS，S3上），并将其作为RDD从其他应用程序中读取。

Answer 2

Spark不支持在两个不同的sparkcontext之间共享RDD，但使用

可以实现相同的功能

a] Tachyon

b] Apache Ignite：Ignite提供了igniteContext，您可以使用它来共享rdds。 IgniteRDD是本机Spark RDD和DataFrame API的实现，除了所有标准RDD功能外，它还可以在其他Spark作业，应用程序和工作程序之间共享RDD的状态。

参考：https://ignite.apache.org/features/igniterdd.html

Answer 3

是的，你可以在apache点燃的帮助下做到这一点，所以请通过以下链接 https://ignite.apache.org/