如何动态更改每个Spark作业使用的核心数?

时间:2016-02-01 20:22:34

标签: apache-spark pyspark

我使用相同的SparkContext在Python中有两个相关的Spark任务。有没有办法将一个任务设置为使用特定的一组核心(每台机器一个核心),另一个任务是使用另一组特定核心(每台机器一个核心)。两个任务使用的核心不应该共享,但一个任务可以使用另一个任务创建的RDD。

有没有办法可以做到这一点?

0 个答案:

没有答案