在群集模式下运行两个版本的Apache Spark

时间:2016-08-09 00:33:19

标签: apache-spark mesos

我希望能够在单个群集上以群集模式运行Spark 2.0和Spark 1.6.1,以便能够共享资源,执行此操作的最佳做​​法是什么?这是因为我希望能够屏蔽某些应用程序,使其免受依赖于1.6.1的代码更改以及Spark 2.0上的其他应用程序的影响。

基本上,集群可以依赖Spark 2.0的动态分配,但可能不适用于1.6.1 - 这很灵活。

1 个答案:

答案 0 :(得分:0)

通过使用Docker,您可以运行各种版本的Spark应用程序,因为Docker在Isolation中运行应用程序。

Docker是一个开发,运输和运行应用程序的开放平台。 。 借助Docker,您可以将应用程序与基础架构分离,并将基础架构视为托管应用程序

行业正在采用Docker,因为它提供了在单个坚果壳中运行各种版本应用程序的灵活性以及更多

Mesos还允许使用Marathon

运行Docker容器

有关详细信息,请参阅 https://www.docker.com/ https://mesosphere.github.io/marathon/docs/native-docker.html

希望这有助于!!! ....