专家!
val kafkaStream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicSet)
kafkaStream.map(_._2).foreachRDD(rdd => rdd.foreach(println))
它有效,它打印kafka消息。但是当我这样跑:
val dStreamsFilterByTableName = kafkaStream.transform(rdd => rdd.map(_._2).map(line => JSON.parse(line).asInstanceOf[JSONObject])
.filter(json => OtterKafkaParser.filterJsonWithTableAndDB(json, tableName, dbName)))
dStreamsFilterByTableName.foreachRDD(rdd =>
rdd.foreach(println))
它不起作用。当我调试时,dStreamsFilterByTableName中有数据,但没有打印。
为什么会这样?
非常感谢你的建议。