作业由于阶段故障而中止:任务不可序列化:java.io.NotSerializableException

时间:2019-02-24 14:43:36

标签: scala apache-spark yarn

我正在为使用火花配置(master=yarn)的Jupyter Notebook使用Apache Toree scala内核。

提交工作时出现以下异常。当然,本地一切都可以在IDE中正常工作。

我的问题是我不了解如何读取跟踪信息以及根本原因。

  

原因:java.io.NotSerializableException:$ line25。$ read $$ iw $$ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ Aggregation $   序列化堆栈:       -无法序列化的对象(类:$ line25。$ read $$ iw $$ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ Aggregation $,值:$ line25。$ read $$ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ Aggregation $ @ 25bbaa87)       -字段(类:$ line25。$ read $$ iw $$ iw $ iw $ iw $$ iw $ ii $$ iw $ iw $ Aggregation $$ anonfun $ 6,名称:$ outer,type:class $ line25。$ read $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $ iw $ Aggregation $)       -对象($ line25类。$ read $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ Aggregation $$ anonfun $ 6,)       -字段(类:org.apache.spark.sql.execution.MapElementsExec,名称:func,类型:类java.lang.Object)       -对象(类org.apache.spark.sql.execution.MapElementsExec,MapElements,obj#73:scala.Tuple2

0 个答案:

没有答案