为什么Spark Gc在完成许多任务后会花费太多时间

Question

我开始了火花工作，一切都很好，但是与第一个任务相比，x个任务后gc变慢并且花费了太多时间。

在392个任务上情况变糟

我也不明白为什么我的某些任务失败了

环境：

• 火花2.4.4
• java 8
• scala 2.12.6
• 在独立模式/一台机器上运行火花

我也遇到了这个问题，大文件> 15M在其他测试中只有10M很好

谢谢