我已经在批处理中训练了我的Word2VecModel,并在Spark Streaming中使用了它。所以,我正在使用Word2VecModel.load(sc, Path)
加载我的模型。
在我的Spark Streaming应用程序中,我正在使用groupByKeyAndWindow()
,这意味着我必须在我的inputDStream
上启用检查点启用的流处理,之后我想使用findSynonyms()
foreachRDD
内的Word2VecModel。
我收到以下错误:
已启用DStream检查点,但DStream及其功能不可序列化
我知道这个错误的含义是什么以及它为什么会出现,问题是我无法找到解决方法。