apache可以点燃共享RDD在嵌入式模式下的工作原理

Question

我非常喜欢Apache Ignite的共享RDD for spark。但是，由于这个限制，我无法将Ignite部署到集群节点上。我可以使用Ignite的唯一方法是使用Spark进行嵌入式模式。

我想知道，在嵌入模式下，RDD可以通过不同的Spark应用程序共享吗？

我有两个Spark职位：

作业1：生成数据，并存储到共享RDD中 作业2：从共享RDD中检索数据，并进行一些计算。

可以使用点燃的嵌入模式完成此任务吗？

由于

Answer 1

在嵌入式模式下，Ignite节点在受Spark控制的执行程序中启动。话虽如此，在我看来，这种模式更多用于测试目的 - 无需单独部署和启动Ignite，同时具备尝试基本功能的能力。但在实际情况下，实现一致性和故障转移保证将非常困难，因为Spark可以启动和停止执行器，在嵌入模式的情况下实际上是保存数据。我建议您解决限制问题，并确保Ignite可以在独立模式下单独安装。