如何为spark中的某个任务预留资源?

时间:2018-03-09 05:52:28

标签: hadoop apache-spark yarn mesos

我在spark中有两种任务:A和B. 在spark.scheduler.pool中,我有两个池:APool和BPool。

我希望任务A在APool中执行,而B在BPool中。

APool中的资源保留为A. 因为任务B可能需要太多资源才能执行。每次B执行时,A都需要等待。我希望无论何时提交任务,总会有一些资源供A执行。

我在独立模式下使用带有java的spark。我提交的工作就像javaRDD.map(..)。reduce ... javaRDD是一个sub-clesse扩展形式JavaRDD。任务A和B具有不同的RDD类,如ARDD和BRDD。它们在同一个火花应用程序中运行。

程序如下:应用程序启动 - >创建了spark应用程序,但没有作业运行 - >我点击"运行A"在app ui上,然后ARDD将运行。 - >我点击"运行B"在应用程序ui上,然后BRDD将在与A。相同的火花应用程序中运行。

0 个答案:

没有答案