如果工作节点上没有安装Spark（在YARN上），Spark Executors是如何启动的？

Question

我有一个关于在群集模式下在YARN上运行的Apache Spark的问题。根据{{​​3}}，Spark本身不必安装在集群中的每个（工作者）节点上。我的问题在于Spark Executors：通常，YARN或资源管理器应该决定资源分配。因此，Spark Executors可以在集群中的任何（工作者）节点上随机启动。但是，如果没有在任何（工作者）节点上安装Spark，YARN如何启动Spark Executors？

Answer 1

在较高级别，当在YARN上启动Spark应用程序时，

1. 将在其中一个YARN容器中创建一个Application Master（ Spark特定）。
2. 用于Spark工作人员（执行人员）的其他YARN容器

Spark驱动程序会将序列化操作（代码）传递给执行程序来处理数据。

  

spark-assembly 提供与Spark相关的jar来运行Spark作业   YARN集群和应用程序将具有自己的功能相关   广口瓶中。


修改（2017-01-04）

  

Spark 2.0 不再需要胖装配罐进行生产   部署。source