火花驱动程序和应用程序WRT之间的关系恢复

时间:2016-04-18 02:10:23

标签: java apache-spark

根据spark文档,spark应用程序需要一个驱动程序,该程序由SparkContext协调。 [1]

我一直在尝试为Spark实现自定义恢复模式,我发现在恢复过程中,Spark会持续存在并读取3种类型的信息ApplicationInfo,DriverInfo和WorkerInfo。 [2]

我有两个问题。

  1. 不是应用程序,它的驱动程序构成一对一的映射?恢复前后应用程序可以有多个驱动程序或不同的驱动程序吗?
  2. 隔离ApplicationInfo和DriverInfo的目的是什么?
  3. [1] http://spark.apache.org/docs/latest/cluster-overview.html

    [2] https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/deploy/master/Master.scala#L521

0 个答案:

没有答案