我想将我的kafka主题消息保存为追加模式

时间:2019-04-17 07:28:22

标签: apache-kafka

val rdds = kafkaStream.map(r => (r.key, r.value()))
    rdds.saveAsTextFiles(Param.hdfsHost + "/user/hdfs/a_test", "abc")

    rdds.foreachRDD { rdd =>
      if (!rdd.isEmpty()) {
        rdd.saveAsTextFile(Param.hdfsHost + "/user/hdfs/a_test")

        rdd.foreach(r => logger.info("key: %s, value %s".format(r._1, r._2)))
      }
    }
    //prints the wordcount result of the stream*/
    ssc.start()
    ssc.awaitTermination()
  }

我正在使用此代码将rdd结果保存到文件中,但是问题是,每当出现新消息时,它将覆盖先前的消息,我想将消息追加到现有文件中。

0 个答案:

没有答案