我正在尝试整合一个Apache Spark Streaming应用程序,该应用程序将消耗来自消息代理的消息。除了使用Kryo
序列化我的消息之外,我已经解决了所有问题。
Apache Spark使用Kryo
版本2.21编译,但我的消息是使用版本2.24.0序列化的。在尝试反序列化时,我收到了NoSuchMethodError
,因为Kryo
2.21中没有该方法(我正在使用setCopyReferences(false)
)。
有没有简单的方法可以解决这个问题?我是否需要使用我需要的kryo版本自行重新编译Spark?