结构化流式作业突然停止

时间:2018-05-14 06:17:20

标签: apache-spark

我们有一个结构化的流媒体作业,它从kafka读取并使用mapGroupWithState API进行状态关联,然后将结果数据帧保存到 镶木地板格式的hdfs文件系统。运行一段时间后,作业停止。从调试日志看起来火花上下文正在停止,导致查询终止。

18/05/14 06:34:54 INFO SparkContext:从关机挂钩调用stop()

根据上述错误消息,由于火花上下文被停止而导致一系列异常。

以下是分配的内存限制: 1个驱动程序:2GB 2个执行器:每个2核,4GB

我们一直在使用Graphite导出器监视JVM内存使用情况。任何应用程序的JVM进程的内存使用量永远不会超过700MB。

除了上面的错误消息之外,其余的异常似乎都是由sc停止触发的。

有人可以提出可能导致此类错误的可能情况吗?

P.S:这份工作甚至在写作控制台作家而不是镶木地板时就已经退出了。

0 个答案:

没有答案