共同定位Spark&卡桑德拉与梅索斯

时间:2015-08-30 04:21:04

标签: cassandra apache-spark mesos mesosphere

我有一个使用Cassandra的Spark应用程序。我想设置一个协同定位的部署,以便Spark节点可以本地访问C *以提高性能。在传统的设置中,我会在我的服务器上手动安装C *,然后在相同的节点上安装Spark Standalone。

但我想利用Apache Mesos来管理我的集群。在Mesos中有没有完成这个,所以Mesos将在相同的节点上运行C *和Spark?

2 个答案:

答案 0 :(得分:2)

如果您使用Spark框架进行Mesos,我不确定Marathon约束是否有效,因为它始终是框架的调度程序,它决定在何处启动任务。您可以尝试仅通过Marathon在相同节点上启动C *和Spark作业,但它可能不像使用专用框架那样灵活。我们有想法在所谓的"基础设施框架"中解决地方问题,但这是WIP。

答案 1 :(得分:0)

我向上看了一下,现在我觉得马拉松的限制就是这样做的方法。如果其他人都在寻找相同的东西,Marathon约束文档很好地解释了这一点。

https://github.com/mesosphere/marathon/blob/master/docs/docs/constraints.md