我正在为使用火花配置(master=yarn
)的Jupyter Notebook使用Apache Toree scala内核。
提交工作时出现以下异常。当然,本地一切都可以在IDE中正常工作。
我的问题是我不了解如何读取跟踪信息以及根本原因。
原因:java.io.NotSerializableException:$ line25。$ read $$ iw $$ iw $ iw $ iw $ iw $ iw $$ iw $$ iw $ iw $ Aggregation $ 序列化堆栈: -无法序列化的对象(类:$ line25。$ read $$ iw $$ iw $ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ Aggregation $,值:$ line25。$ read $$ iw $$ iw $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ Aggregation $ @ 25bbaa87) -字段(类:$ line25。$ read $$ iw $$ iw $ iw $ iw $$ iw $ ii $$ iw $ iw $ Aggregation $$ anonfun $ 6,名称:$ outer,type:class $ line25。$ read $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $$ iw $ iw $ Aggregation $) -对象($ line25类。$ read $$ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ iw $ Aggregation $$ anonfun $ 6,) -字段(类:org.apache.spark.sql.execution.MapElementsExec,名称:func,类型:类java.lang.Object) -对象(类org.apache.spark.sql.execution.MapElementsExec,MapElements,obj#73:scala.Tuple2