我使用Operator HTTP API在Mesos中使用动态资源预留。我在一些特定角色的奴隶中保留资源(比如说角色-1)。现在,我想使用仅属于role-1的资源启动spark应用程序。但是,由于Spark是一个贪婪的框架,并且它接受所有提供的资源,因此它在我的从属服务器中使用了未经保留的资源。因此,角色1中的预留资源不能被其他应用程序使用。如何严格强制Spark应用程序仅使用保留的资源?
答案 0 :(得分:0)
您可以使用spark.mesos.role
(请参阅https://spark.apache.org/docs/latest/running-on-mesos.html#configuration)