我正在学习结构化流媒体。我在一个文件夹中有一个csv文件,其中包含订单数据。尝试使用检查点概念实现恢复。我再添加一个文件到输入文件夹并重新启动驱动程序,但收到以下错误。
此查询不支持从检查点位置恢复。删除C:/ Users / q794089 / Documents / Hadoop / SparkScala / recoveringcheckpoint / checkpoint / offsets重新开始。
这是代码。如果代码有任何问题,请告诉我
val schema = StructType(Array(StructField("transactionId", StringType), StructField("customerId", StringType), StructField("itemId", StringType), StructField("amountPaid", DoubleType)))
val fileStreamDf = sparkSession.readStream.option("header", true).schema(schema).csv("C:\\Users\\q794089\\Documents\\Hadoop\\SparkScala\\recoveringcheckpoint\\order")
//create stream from folder
val countDs = fileStreamDf.groupBy("customerId").sum("amountPaid")
val query =
countDs.writeStream
.format("console")
.option("checkpointLocation", "C:\\Users\\q794089\\Documents\\Hadoop\\SparkScala\\recoveringcheckpoint\\checkpoint")
.outputMode(OutputMode.Complete())
query.start().awaitTermination()