如何在scala中过滤Kafka Dstream

时间:2018-03-08 17:47:10

标签: scala apache-spark apache-kafka spark-streaming

我有一个主题列表作为参数。

stream Kafka DStream对象,订阅了 topicsArr

我希望根据键过滤每个DStream,并在单个DStream之上进行一些转换,而不会破坏处理的分布式性质。

当我尝试这样做时,我会遇到

  

对象不可序列化错误

以下是摘录:

topicsArr.map(y => {
     stream
      .filter(x => x.key() == y)
      .map(x => x.value())
      .foreachRDD(rdd =>
      if (!rdd.isEmpty()) {
          println "rdd.count()" //More code goes here
     })
})

0 个答案:

没有答案