Question

与dataproc合作，我正在探索与火花和纱线有关的不同配置，我发现dataproc包含GC_OPTS="-XX:+UseConcMarkSweepGC"作为纱线环境的一部分。配置。

GC_OPTS="-XX:+UseConcMarkSweepGC"
# Log GC details to stdout, these will be in diagnostic tarballs.
GC_LOGGING_OPTS="-XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintGCDetails"
export YARN_TIMELINESERVER_OPTS="${GC_OPTS} ${GC_LOGGING_OPTS} ${YARN_TIMELINESERVER_OPTS}

为了将垃圾收集器设置为CMS收集器而不是默认选项，对纱线性能是否有特定要求？

Answer 1

在某些情况下，如果内存使用率很高，则世界停止垃圾回收可能会触发与ResourceManager或NameNode进行通信的守护进程中的超时。在重新配置为使用CMS GC之前，实际上已经在某些Dataproc群集中观察到了这一点。

最优选项可能会根据工作负载的特征而有所不同，但通常在其他通用Hadoop指南（例如https://community.hortonworks.com/articles/14170/namenode-garbage-collection-configuration-best-pra.html

中也证实了这种方法）

Dataproc将GC_OPTS =“-XX：+ UseConcMarkSweepGC”用于纱线吗？

1 个答案: