点燃YARN部署与vanilla部署与嵌入式部署

时间:2018-04-01 04:57:44

标签: ignite

使用最新的Ignite版本(2.4),不推荐使用嵌入式Ignite部署,我参考原始论坛链接。

http://apache-ignite-developers.2346864.n4.nabble.com/Deprecate-IgniteRDD-in-embedded-mode-td24867.html

1)然而,从文档中不清楚YARN部署有什么优势可以嵌入。如果可以,请解释。 YARN部署不具备与嵌入式相似的缺点吗?

2)我的用例涉及在Spark中计算时使用Ignite创建分布式缓存。与我的火花集群中的YARN部署相比,将Ignite部署在不同/相同的集群中是否更有意义?

1 个答案:

答案 0 :(得分:1)

我猜它已被弃用,因为随意添加和删除服务器节点到拓扑会导致昂贵且容易出错的节点之间重新平衡缓存的过程。如果备份不足,数据可能会丢失,或者在发生这种情况时需要在节点之间传输。如果在运行期间没有足够的节点保持活动状态,也可能会出现集群故障。

在工作开始之前运行所有需要的节点要好得多,避免在工作正在进行时更改拓扑,并在不再需要时终止所有节点。这就是YARN部署试图做的事情。

如果Ignite群集的生命周期比您在MR上运行的工作生命周期长,那么Vanilla部署可能更有意义。