如何强制spark应用程序在Mesos中使用动态保留的资源

时间:2018-02-22 04:02:14

标签: apache-spark dynamic resources mesos

我使用Operator HTTP API在Mesos中使用动态资源预留。我在一些特定角色的奴隶中保留资源(比如说角色-1)。现在,我想使用仅属于role-1的资源启动spark应用程序。但是,由于Spark是一个贪婪的框架,并且它接受所有提供的资源,因此它在我的从属服务器中使用了未经保留的资源。因此,角色1中的预留资源不能被其他应用程序使用。如何严格强制Spark应用程序仅使用保留的资源?

1 个答案:

答案 0 :(得分:0)

您可以使用spark.mesos.role(请参阅https://spark.apache.org/docs/latest/running-on-mesos.html#configuration