Spark Streaming:增加网络活动&驱动程序上的CPU负载

时间:2016-04-07 11:12:57

标签: performance apache-spark spark-streaming ganglia

我的Spark Streaming应用程序的周期为5分钟。自过去2个月以来,Driver Node出现了反复出现的模式。从performance metrics看到ganglia的下方快照。过去几周也出现了同样的行为。

  1. 设置:driver上有两个executors(8G,10个核心)EMR
  2. Spark Version:1.5.2
  3. GC:CMS适用于驱动程序&执行
  4. 重要:应用程序星期六开始,如图表所示。

    RAM enter image description here

    CPU enter image description here

    网络 enter image description here

    这种行为可以解释一下吗?如果我需要调查,我可以从这个快照中得到什么观察指针?

0 个答案:

没有答案