资源提供如何与mesos一起用于火花流应用程序?

时间:2018-08-16 06:16:34

标签: apache-spark mesos mesosphere

据我了解,仔细阅读过mesos文档,是对应用程序/框架提供了资源,还是由应用程序接受/拒绝报价。

我有一个“永无止境”的火花流应用程序,在其中配置了需要并行处理的执行器/内核/内存。当我的spark-app启动时,这些资源不是只获得一次。就是说,如果我的执行者闲置了,他们会退还给我吗?

在提供火花流的情况下,资源提供和接受是否仅发生一次?

同一问题可以扩展到其他长期运行的框架,例如mesos上的cassandra或YARN。

我的理解是,当在粗粒度模型上运行spark-streaming时,资源交换一次发生,并且资源在spark app的整个生命周期内都专用于执行程序

1 个答案:

答案 0 :(得分:0)

Mesos上Spark的最佳来源是the spark docs site here。 在粗粒度部分中,您可以看到以下内容回答了您的问题:

  

粗粒度模式的好处是启动开销要低得多,但是会在应用程序的整个过程中保留Mesos资源。要将作业配置为动态调整以适应其资源需求,请查看动态分配。

如果您查看Dynamic resource allocation,则可以通过Spark Shuffle服务在执行程序资源周围移动。这可以通过Spark服务提供的脚本或通过Marathon实现。