为什么启动时间范围很大,如果能够缩短?

时间:2015-02-06 06:22:47

标签: apache-spark

我们在作业提交参数中指定了700个执行程序, - executor-cores是2。 在控制台中,我看到一个阶段有1344个任务。 任务的启动时间范围是从2015/01/09 02:55:54到2015/01/09 03:00:03进行一次测试,花费超过4分钟。所以我们想知道是否有办法缩短延迟。

1 个答案:

答案 0 :(得分:0)

如果您在本地模式下运行应用程序,我建议尝试在群集上运行spark应用程序,看看是否有任何改进。