我的Spark Streaming
应用程序的周期为5分钟。自过去2个月以来,Driver Node
出现了反复出现的模式。从performance metrics
看到ganglia
的下方快照。过去几周也出现了同样的行为。
- 设置:
driver
上有两个executors
(8G,10个核心)EMR
- Spark Version:1.5.2
- GC:
CMS
适用于驱动程序&执行
醇>
重要:应用程序星期六开始,如图表所示。
RAM
CPU
网络
这种行为可以解释一下吗?如果我需要调查,我可以从这个快照中得到什么观察指针?