我的情景:
这必须重复,直到火花流工作正在运行。
但是我无法弄清楚在流媒体环境中运行spark sql的方法。
截至目前,spark sql查询仅运行一次,流式传输不断发生。
val nv = (new Streamreader(kafkaParams,db))
kafkaOpTopic.split(",").foreach(x => {
nv.streader(ssc, Array(x))
})
spark.sql("show tables").show()
ssc.start()
ssc.awaitTermination()
StreamReader正在进行kafka pull操作。
在每个Spark流式批处理窗口结束时运行spark sql的正确方法是什么?怎么实现呢?
任何想法都会有很大帮助。