我有一个主题列表作为参数。
stream 是 Kafka DStream对象,订阅了 topicsArr 。
我希望根据键过滤每个DStream,并在单个DStream之上进行一些转换,而不会破坏处理的分布式性质。
当我尝试这样做时,我会遇到
对象不可序列化错误
以下是摘录:
topicsArr.map(y => {
stream
.filter(x => x.key() == y)
.map(x => x.value())
.foreachRDD(rdd =>
if (!rdd.isEmpty()) {
println "rdd.count()" //More code goes here
})
})