org.apache.kafka.common.TopicPartition;类对反序列化无效

时间:2017-03-24 16:03:59

标签: apache-spark apache-kafka

我正在使用spark 1.6.2和kafka 0.10.0.1编写一个火花流媒体应用程序,我在纱线上运行应用程序,大部分时间运行正常,但在某些情况下,我遇到了以下异常:

org.apache.kafka.common.TopicPartition; class invalid for deserialization

我真的无法弄清楚为什么会发生这种情况。以前有人遇到过这个问题吗?怎么解决呢?任何帮助表示赞赏!

我的代码是这样的:我从zookeeper中获取了我的主题偏移量,

val fromOffsets: Map[TopicPartition, Long] = getMyOffsetMethod()

然后我用它来创建一个dstream,

consumerStrategy = ConsumerStrategies.Subscribe[String, String]
(Set(topic), kafkaConf, fromOffsets)
linesDStream = KafkaUtils.createDirectStream(
  ssc, LocationStrategies.PreferBrokers, consumerStrategy)

这是导致此问题的原因吗?还有@Matthias J. Sax,它是反序列化,而不是序列化

0 个答案:

没有答案