为什么火花工作之间存在如此大的差距

Question

我正在写一个有点长/复杂的火花应用程序。也许几百个工作取决于输入。但是，我发现我的应用程序花费了大量时间无所事事。在图像中，您可以看到上一个作业和倒数第二个作业之间存在大约30秒的差异。

代码没有在火花之外做任何事情以保证这样的延迟。以下代码中的第一行和最后一行分别表示倒数第二个和最后一个作业

document.getElementById("submitPost").addEventListener("click", writeNewPost);

这不是一个很长的沿袭问题，因为这个特定的代码在一个新的RDD上运行。有没有人知道为什么会发生这种情况和/或如何解决它。数百个工作岗位增加了10-30秒。