我有一个使用Cassandra的Spark应用程序。我想设置一个协同定位的部署,以便Spark节点可以本地访问C *以提高性能。在传统的设置中,我会在我的服务器上手动安装C *,然后在相同的节点上安装Spark Standalone。
但我想利用Apache Mesos来管理我的集群。在Mesos中有没有完成这个,所以Mesos将在相同的节点上运行C *和Spark?
答案 0 :(得分:2)
如果您使用Spark框架进行Mesos,我不确定Marathon约束是否有效,因为它始终是框架的调度程序,它决定在何处启动任务。您可以尝试仅通过Marathon在相同节点上启动C *和Spark作业,但它可能不像使用专用框架那样灵活。我们有想法在所谓的"基础设施框架"中解决地方问题,但这是WIP。
答案 1 :(得分:0)
我向上看了一下,现在我觉得马拉松的限制就是这样做的方法。如果其他人都在寻找相同的东西,Marathon约束文档很好地解释了这一点。
https://github.com/mesosphere/marathon/blob/master/docs/docs/constraints.md