Spark GC时间非常高导致任务执行缓慢

Question

我在5节点集群上运行spark应用程序。每个节点都配置为16核和64 GB RAM。

我的申请分为4个阶段。第4阶段快速执行3个阶段，即mapToPair需要花费太多时间（差不多4个小时）。

以下是作业

的作业统计信息

我也检查过执行程序日志，没有看到任何错误/异常。如果需要进行任何配置更改以改善性能，请您建议我吗？

Answer 1

https://spark.apache.org/docs/latest/tuning.html

第一次尝试
.config("spark.executor.memory","8g")

http://www.oracle.com/technetwork/articles/java/g1gc-1984535.html