SPARK HISTORY SERVER上的CPU使用率为100％

Question

SPARK HISTORY SERVER上的CPU使用率是100％，这是火花历史记录服务器上的正确行为吗？

我使用CDH 5.4.3

Answer 1

我不希望火花历史记录服务器处于100％CPU。我会检查火花历史记录服务器的堆大小，如果它被最大化，请考虑添加更多。

Answer 2

最后，我删除了所有旧日志，cpu使用量已经减少了！

hadoop jar /opt/cloudera/parcels/CDH/lib/solr/contrib/mr/search-mr-job.jar org.apache.solr.hadoop.HdfsFindTool -find /user/spark/applicationHistory -mtime +7 | xargs hdfs dfs -rm -r -skipTrash

我认为我的cloudera版本有这个bug。