YARN部署模式之间的区别 - 具有节点管理器的计算机上的CLUSTER和CLIENT模式

Question

对我来说，唯一的区别是，在第一种情况下，驱动程序将位于App Master JVM中，而它将紧挨着上面的客户端模式配置。这两种情况会有什么不同？

Answer 1

Spark部署模式 - 客户端与群集

  

客户端模式

• 这是互动的。如果您想在您的机器（客户端 - 驱动程序）上获得作业结果（动态分析），则客户端部署模式非常有用。
• 更容易开发/调试。
• 最终用户拥有运行驱动程序的控件
• 始终启动应用程序：将Spark作业启动程序公开为REST服务或Web UI。

  

群集模式

• 更容易进行资源分配（让主人决定）：点火并忘记
• 由于这种Fire-N-Forget行为，最好在群集模式下提交资源匮乏的长作业。
• 监控驱动程序可以像其他工作人员一样从Master Web UI完成。 （不是来自客户端机器）
• 结束时停止：一旦完成作业，就会自动释放分配的资源。
• 在群集模式下，如果驱动程序有问题，YARN会重新启动驱动程序而不会终止执行程序。
• 在客户端模式下，如果您的驱动程序被杀，YARN会自动杀死所有执行者。