如何使用sparkListener

时间:2016-04-21 19:16:36

标签: scala apache-spark spark-streaming

我有一种情况。

我希望我的应用程序连接一次到kafka,读取偏移量,进行操作然后停止应用程序。

我正在阅读有关StreamingListener的信息,以便在第一次迭代发生时进行检测。

我不知道如何使用StreamingListener来停止mi应用程序。你能救我吗?

我正在使用spark 1.4

示例代码如下:

val lines = KafkaUtils.createStream(ssc, zkQuorum, group, topicMap).map(_._2)

lines.foreachRDD( rdd => {
  rdd.saveAsTextFile("......")
})


sys.ShutdownHookThread {
  println("Gracefully stopping Spark Streaming Application")
  ssc.stop(true, true)
  println("Application stopped")
}

ssc.start()
ssc.awaitTermination()

谢谢!

0 个答案:

没有答案