Spark Driver在集群模式下运行在哪里可以控制?

时间:2017-08-09 11:59:15

标签: apache-spark spark-submit

虽然我有几个文档表明驱动程序在其自己的节点上运行,而该节点是从属节点上的执行程序,也称为工作程序,但我以某种方式对此感到困惑。因此,如果可能,我想确认以下内容:

驱动程序在类型为

的群集上运行
  1. 独立
  2. 纱线
  3. Mesos
  4. 所以我觉得我有2个答案就是主人的驱动程序。但是我不确定1和3.有人可以帮助澄清吗?

    最后,如果驱动程序与执行程序共享一个节点,这是否意味着当我们调整集群节点的大小时,我们需要考虑更多的线程可能实际运行它并且内存使用量可能更大?换句话说,我们应该系统地超大我们的节点以考虑潜在的驱动因素。

1 个答案:

答案 0 :(得分:2)

所有集群管理器都具有客户端模式和集群模式的概念。客户端模式意味着驱动程序从创建提交请求的位置运行。这并不意味着驱动程序必须主节点执行,只有从主服务器提交应用程序时才会执行此操作。

例如,如果我将应用程序从本地IDE提交给Spark Master,则驱动程序将在我的本地计算机上运行。