我使用本地模式和mesos集群模式提交相同的jar来运行。并且找到了一些完全相同的阶段，本地模式只需几毫秒即可完成，但集群模式需要几秒钟！
列出了一个例子：第659阶段
本地模式： 659 来自[输出操作1，批处理时间17:45:50]的流式作业 地图在KafkaHelper.scala：35 +详细信息 2016/03/22 17:46:31 11 ms
mesos集群模式： 659 来自[输出操作1，批处理时间18:01:20]的流式作业 地图在KafkaHelper.scala：35 +详细信息 2016/03/22 18:09:33 3 s
我从spark UI中发现，mesos集群模式将持续4秒钟完成foreachRDD作业，为什么会这样？任何提交命令选项都可以帮助解决这个问题吗？
提前致谢！
答案 0 :(得分：2)
这种行为取决于多种因素。您没有指定在哪种群集模式下运行的作业类型以及使用哪些设置。如果未在Slaves上安装Spark，您将看到开销，因为需要下载分发等。
此外，您正在使用的罐子需要分发给执行者，这也可能需要一些时间用于启动。
如上所述，这完全取决于你在Mesos上运行Spark的如何。
见