Spark Streaming中的ERROR actor.OneForOneStrategy错误

时间:2014-12-13 06:52:20

标签: apache-kafka spark-streaming

我的Spark Streaming Kafka接收器程序中发生以下错误:

 ERROR actor.OneForOneStrategy: org.jnetpcap.protocol.network.Ip4java.io.NotSerializableException

可能是什么原因?

2 个答案:

答案 0 :(得分:2)

如果在Spark Streaming中启用了检查点,则在forEachRDD中调用的函数中使用的对象应该是Serializable。否则,会出现一个"错误的OneForOneStrategy。如果我们关闭检查点,代码将运行。

答案 1 :(得分:0)

简而言之,此错误表示作业中的某些功能引用了不可序列化的对象(即org.jnetpcap.protocol.network.Ip4)。查看"ERROR OneForOneStrategy" article in the Databricks Spark Knowledgebase以获取此问题的示例以及各种解决方法/修复的讨论。