我正在研究蒸煮应用程序POC，在其中我从kafka生产者那里得到消息，在spark结构的蒸煮消费者中，我得到了这些主题并将其存储在delta表中。我正在使用{{1维护S3中的检查点目录}}。 我的查询是如何读取此位置以获取最新的偏移，以防万一我的流失败并传递到起始偏移 .option（“ startingOffsets”，readvalue）
我经历了下面的参考，但是没有太多线索如何从s3读取值，或者我不得不编写一个单独的scala程序从S3读取值。 https://spark.apache.org/docs/2.1.0/structured-streaming-kafka-integration.html 我的胶印文件如下图所示
option("checkpointLocation", checkPointdir)任何有关此的线索都会有所帮助