Spark组件在SnappyData Unified Cluster模式下的位置在哪里？

Question

我试图了解所有“Spark”部分适合SnappyData的“统一集群模式”部署拓扑。

在阅读本文时，文档不清楚一些事项：

http://snappydatainc.github.io/snappydata/deployment/#unified-cluster-mode-aka-embedded-store-mode

1. 谁是主人 - 主角或定位者？
2. Slave / Worker执行... - Lead或Server？
3. 执行程序执行... - 服务器（这在文档中似乎是直截了当的）
4. 应用程序执行... - 潜在客户或服务器？
5. 作业执行... - 主管或服务器？
6. Streams执行... - Lead或Server？

Answer 1

SnappyData是一个点对点集群，可以进行自己的集群管理。因此，它不需要像Spark独立集群管理器和Yarn这样的集群管理器来启动/停止Spark驱动程序和执行程序。当SnappyData引导节点启动时，它会在其中启动Spark驱动程序，并在所有SnappyData服务器中启动Spark执行程序。现在回答你的问题：

  

    

谁是主人 - 主角或定位者？

  

SnappyData没有Master。

  

    

Slave / Worker执行... - Lead或Server？

  

SnappyData没有slave / worker。

  

    

执行程序执行... - 服务器（这在文档中似乎很简单）

  

正确。

  

    

应用程序执行... - 潜在客户或服务器？作业执行... - 主管或服务器？

  

Spark中的应用程序是一组自包含的计算。对于每个Spark应用程序，都会启动一个启动Spark上下文的驱动程序。 Spark上下文协调应用程序。应用程序结束后，上下文和驱动程序会消失。从某种意义上说，SnappyData可以被称为长期运行的Spark应用程序，因为它启动Spark上下文并使其在引导节点内运行。 SnappyData作业可以提交给主导节点，由已经运行的Spark上下文执行。因此，引导节点（Spark驱动程序）在实际执行任务的服务器（Spark执行器）上调度作业。

  

    

Streams执行... - Lead或Server？

  

Spark执行没有变化。当流作业提交到主导节点时，它会在其中一个可用服务器上创建一个接收器，然后为接收到的数据调度作业。