是否可以为spark中的特定任务选择特定的工作人员?

时间:2018-04-05 10:02:49

标签: apache-spark bigdata cluster-computing mesos

实际要求就像我的设备只能通过特定的机器访问,所以是否可以将涉及通信的任务分配给可以从中访问该设备的工作人员?

假设有主人和工人的火花群。工人是可以访问特定设备的机器,主设备无法访问这些设备。

我浏览了文档,并且知道通过使用mesos集群管理器可以实现,但是无法找到描述如何完成此操作的内容,对此的任何参考都将非常感激。

1 个答案:

答案 0 :(得分:1)

  

spark.mesos.constraints - 基于属性的mesos资源提供约束。默认情况下,将接受所有资源要约。此设置仅适用于执行程序。有关属性的更多信息,请参阅Mesos Attributes & Resources。   标量约束与“小于等于”语义匹配,即约束中的值必须小于或等于资源提供中的值。   范围约束与“包含”语义匹配,即约束中的值必须在资源提供的值内。   设置约束与“子集”语义匹配,即约束中的值必须是资源提供值的子集。   文本约束与“相等”语义匹配,即约束中的值必须与资源要约的值完全相等。   如果作为约束的一部分没有值存在,则将接受具有相应属性的任何要约(没有值检查)。