我一直在使用S3通过结构化流进行检查点。但是,我得到了与S3中的最终一致性有关的FileNotFound异常。
下面是我目前使用S3检查点的情况。
val msg = testMsgs.writeStream.option("checkpointLocation",
s3://<bucket-name>/checkpoint123).foreach(writer).start
我计划在我的火花作业在EMR中运行时切换到EMRFS。
EMRFS的可靠性如何?如何使用EMRFS进行检查点?
实现检查点的方式是否会发生变化?
如何在EMR中启用EMRFS?