我试图使用火花结构化流媒体中的检查点恢复数据。但是得到以下错误

时间:2018-04-09 09:08:29

标签: apache-spark

我正在学习结构化流媒体。我在一个文件夹中有一个csv文件,其中包含订单数据。尝试使用检查点概念实现恢复。我再添加一个文件到输入文件夹并重新启动驱动程序,但收到以下错误。

此查询不支持从检查点位置恢复。删除C:/ Users / q794089 / Documents / Hadoop / SparkScala / recoveringcheckpoint / checkpoint / offsets重新开始。

这是代码。如果代码有任何问题,请告诉我

val schema = StructType(Array(StructField("transactionId", StringType), StructField("customerId", StringType), StructField("itemId", StringType), StructField("amountPaid", DoubleType)))

val fileStreamDf = sparkSession.readStream.option("header", true).schema(schema).csv("C:\\Users\\q794089\\Documents\\Hadoop\\SparkScala\\recoveringcheckpoint\\order")

//create stream from folder
val countDs = fileStreamDf.groupBy("customerId").sum("amountPaid")

val query =
  countDs.writeStream
    .format("console")
    .option("checkpointLocation", "C:\\Users\\q794089\\Documents\\Hadoop\\SparkScala\\recoveringcheckpoint\\checkpoint")
    .outputMode(OutputMode.Complete())

query.start().awaitTermination()

1 个答案:

答案 0 :(得分:0)

这应该通过以下方式解决:https://issues.apache.org/jira/browse/SPARK-21667。检查固定版本。