结构化Spark流将引发OOM异常

Question

我的结构化Spark Streaming Job运行超过24小时后失败，但出现以下异常。

Exception in thread "spark-listener-group-eventLog" java.lang.OutOfMemoryError: GC overhead limit exceeded
        at java.math.BigInteger.<init>(BigInteger.java:1114)
        at java.math.BigInteger.valueOf(BigInteger.java:1098)
        at scala.math.BigInt$.apply(BigInt.scala:49)
        at scala.math.BigInt$.long2bigInt(BigInt.scala:101)
        at org.json4s.Implicits$class.long2jvalue(JsonDSL.scala:45)
        at org.json4s.JsonDSL$.long2jvalue(JsonDSL.scala:61)

快速背景： 我的结构化火花流工作是将以新文件（镶木地板）形式接收的事件吸收到Solr集合中。因此，源是接收事件的8个不同的配置单元表（8个不同的hdfs位置），接收器是一个solr集合。

配置：

Number Executors: 30
Executor Memory: 20 G
Driver memory: 20 G
cores - 5

生成了一个hprof转储文件，并加载到MAT中以了解原因。转储文件看起来像。这是一个测试环境，数据流TPS（每分钟事务）非常低，有时根本没有事务。

有关导致此问题的任何线索。不幸的是，我无法共享代码段。对于那个很抱歉。