通过带有火花提交的罐子时,aws-java-sdk-s3错误

时间:2018-12-05 23:58:37

标签: maven apache-spark aws-java-sdk

我正在本地运行Spark作业。在我的代码中,我正在创建一个AmazonS3客户端。我正在使用aws-java-sdkspark的最新版本。 当我将代码及其依赖关系打包并将其传递给Spark Submit实用程序时,出现以下错误。

  

线程“主”中的异常java.lang.NoSuchMethodError:   com.amazonaws.services.s3.AmazonS3Client.builder()

我尝试了其他在线资源,但无法摆脱错误。 我什至尝试联系aws支持人员,他们要求我将其添加到spark-submit --packages中。我试过了,还是没有运气。

0 个答案:

没有答案