Apache Spark:如何在spark独立模式下完成应用程序级别调度?

时间:2016-02-25 10:16:28

标签: apache-spark parallel-processing scheduler scheduling distributed-computing

独立模式

“应用程序级别调度”中没有太多可用信息,即如何在spark独立模式下安排多个应用程序。只有这个链接http://spark.apache.org/docs/latest/job-scheduling.html。我唯一能找到的就是它的FIFO调度程序。据我所知,独立调度也可以在静态或动态模式下完成。但我找不到有关动态模式的任何信息。有人能详细解释火花独立模式下的应用程序调度吗?

1 个答案:

答案 0 :(得分:0)

  

有关动态模式的信息。

这是动态配置应用程序将要使用的资源的时候。

例如,您可以配置核心数,每个执行程序的内存数,执行程序数等。

Dynamic Resource Allocation中阅读更多内容。