转换后,DStream.foreachRDD不起作用

时间:2016-11-10 08:56:11

标签: apache-kafka spark-streaming

专家!

val kafkaStream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicSet)
kafkaStream.map(_._2).foreachRDD(rdd => rdd.foreach(println))

它有效,它打印kafka消息。但是当我这样跑:

val dStreamsFilterByTableName = kafkaStream.transform(rdd => rdd.map(_._2).map(line => JSON.parse(line).asInstanceOf[JSONObject])
  .filter(json => OtterKafkaParser.filterJsonWithTableAndDB(json, tableName, dbName)))

dStreamsFilterByTableName.foreachRDD(rdd =>
  rdd.foreach(println))

它不起作用。当我调试时,dStreamsFilterByTableName中有数据,但没有打印。

为什么会这样?

非常感谢你的建议。

0 个答案:

没有答案