我正在使用spark 1.6.2和kafka 0.10.0.1编写一个火花流媒体应用程序,我在纱线上运行应用程序,大部分时间运行正常,但在某些情况下,我遇到了以下异常:
org.apache.kafka.common.TopicPartition; class invalid for deserialization
我真的无法弄清楚为什么会发生这种情况。以前有人遇到过这个问题吗?怎么解决呢?任何帮助表示赞赏!
我的代码是这样的:我从zookeeper中获取了我的主题偏移量,
val fromOffsets: Map[TopicPartition, Long] = getMyOffsetMethod()
然后我用它来创建一个dstream,
consumerStrategy = ConsumerStrategies.Subscribe[String, String]
(Set(topic), kafkaConf, fromOffsets)
linesDStream = KafkaUtils.createDirectStream(
ssc, LocationStrategies.PreferBrokers, consumerStrategy)
这是导致此问题的原因吗?还有@Matthias J. Sax,它是反序列化,而不是序列化