val rdds = kafkaStream.map(r => (r.key, r.value()))
rdds.saveAsTextFiles(Param.hdfsHost + "/user/hdfs/a_test", "abc")
rdds.foreachRDD { rdd =>
if (!rdd.isEmpty()) {
rdd.saveAsTextFile(Param.hdfsHost + "/user/hdfs/a_test")
rdd.foreach(r => logger.info("key: %s, value %s".format(r._1, r._2)))
}
}
//prints the wordcount result of the stream*/
ssc.start()
ssc.awaitTermination()
}
我正在使用此代码将rdd结果保存到文件中,但是问题是,每当出现新消息时,它将覆盖先前的消息,我想将消息追加到现有文件中。