如何使用EMRFS通过结构化流进行检查点?

时间:2019-07-13 00:40:24

标签: amazon-emr spark-structured-streaming spark-checkpoint

我一直在使用S3通过结构化流进行检查点。但是,我得到了与S3中的最终一致性有关的FileNotFound异常。

下面是我目前使用S3检查点的情况。

 val msg = testMsgs.writeStream.option("checkpointLocation", 
 s3://<bucket-name>/checkpoint123).foreach(writer).start

我计划在我的火花作业在EMR中运行时切换到EMRFS。

EMRFS的可靠性如何?如何使用EMRFS进行检查点?

实现检查点的方式是否会发生变化?

如何在EMR中启用EMRFS?

0 个答案:

没有答案