虽然我有几个文档表明驱动程序在其自己的节点上运行,而该节点是从属节点上的执行程序,也称为工作程序,但我以某种方式对此感到困惑。因此,如果可能,我想确认以下内容:
驱动程序在类型为
的群集上运行所以我觉得我有2个答案就是主人的驱动程序。但是我不确定1和3.有人可以帮助澄清吗?
最后,如果驱动程序与执行程序共享一个节点,这是否意味着当我们调整集群节点的大小时,我们需要考虑更多的线程可能实际运行它并且内存使用量可能更大?换句话说,我们应该系统地超大我们的节点以考虑潜在的驱动因素。
答案 0 :(得分:2)
所有集群管理器都具有客户端模式和集群模式的概念。客户端模式意味着驱动程序从创建提交请求的位置运行。这并不意味着驱动程序必须主节点执行,只有从主服务器提交应用程序时才会执行此操作。
例如,如果我将应用程序从本地IDE提交给Spark Master,则驱动程序将在我的本地计算机上运行。