我有一种情况。
我希望我的应用程序连接一次到kafka,读取偏移量,进行操作然后停止应用程序。
我正在阅读有关StreamingListener的信息,以便在第一次迭代发生时进行检测。
我不知道如何使用StreamingListener来停止mi应用程序。你能救我吗?
我正在使用spark 1.4
示例代码如下:
val lines = KafkaUtils.createStream(ssc, zkQuorum, group, topicMap).map(_._2)
lines.foreachRDD( rdd => {
rdd.saveAsTextFile("......")
})
sys.ShutdownHookThread {
println("Gracefully stopping Spark Streaming Application")
ssc.stop(true, true)
println("Application stopped")
}
ssc.start()
ssc.awaitTermination()
谢谢!