用于emrfs的Java API同步S3:// <bucket-name> /,而emrfs删除S3:// <bucket-name>

时间:2018-07-03 14:15:41

标签: java amazon-s3 amazon-emr

我要求从Java Spark代码中将emrfs与S3同步,每当S3读取或写入操作中发生不一致异常时,都应在我的重试逻辑中调用它。

可以通过向EMR添加步骤进行同步来解决一些问题,但是它将排队到EMR集群中,并且会导致我当前的作业处理失败。

0 个答案:

没有答案