我的Spark Streaming Kafka接收器程序中发生以下错误:
ERROR actor.OneForOneStrategy: org.jnetpcap.protocol.network.Ip4java.io.NotSerializableException
可能是什么原因?
答案 0 :(得分:2)
如果在Spark Streaming中启用了检查点,则在forEachRDD中调用的函数中使用的对象应该是Serializable。否则,会出现一个"错误的OneForOneStrategy。如果我们关闭检查点,代码将运行。
答案 1 :(得分:0)
简而言之,此错误表示作业中的某些功能引用了不可序列化的对象(即org.jnetpcap.protocol.network.Ip4
)。查看"ERROR OneForOneStrategy" article in the Databricks Spark Knowledgebase以获取此问题的示例以及各种解决方法/修复的讨论。