我们有一个结构化的流媒体作业,它从kafka读取并使用mapGroupWithState API进行状态关联,然后将结果数据帧保存到 镶木地板格式的hdfs文件系统。运行一段时间后,作业停止。从调试日志看起来火花上下文正在停止,导致查询终止。
18/05/14 06:34:54 INFO SparkContext:从关机挂钩调用stop()
根据上述错误消息,由于火花上下文被停止而导致一系列异常。
以下是分配的内存限制: 1个驱动程序:2GB 2个执行器:每个2核,4GB
我们一直在使用Graphite导出器监视JVM内存使用情况。任何应用程序的JVM进程的内存使用量永远不会超过700MB。
除了上面的错误消息之外,其余的异常似乎都是由sc停止触发的。
有人可以提出可能导致此类错误的可能情况吗?
P.S:这份工作甚至在写作控制台作家而不是镶木地板时就已经退出了。