标签: java apache-spark
根据spark文档,spark应用程序需要一个驱动程序,该程序由SparkContext协调。 [1]
我一直在尝试为Spark实现自定义恢复模式,我发现在恢复过程中,Spark会持续存在并读取3种类型的信息ApplicationInfo,DriverInfo和WorkerInfo。 [2]
我有两个问题。
[1] http://spark.apache.org/docs/latest/cluster-overview.html
[2] https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/deploy/master/Master.scala#L521