结构化流应用程序崩溃

时间:2017-06-19 18:16:53

标签: apache-spark spark-structured-streaming

所以,我有一个结构化的流媒体应用程序,它在5分钟的触发间隔内从S3读取3个csv文件。在数据帧上执行基本的groupby,然后使用foreach输出I异步地将记录写出到外部数据存储。大约4-5个间隔之后,火花作业崩溃,这就是我在日志中找到的:有没有人有这个解决方案?如果没有,你的第一步调试是什么?

"s2 "

0 个答案:

没有答案