我正在本地运行Spark作业。在我的代码中,我正在创建一个AmazonS3客户端。我正在使用aws-java-sdk
和spark
的最新版本。
当我将代码及其依赖关系打包并将其传递给Spark Submit实用程序时,出现以下错误。
线程“主”中的异常java.lang.NoSuchMethodError: com.amazonaws.services.s3.AmazonS3Client.builder()
我尝试了其他在线资源,但无法摆脱错误。 我什至尝试联系aws支持人员,他们要求我将其添加到spark-submit --packages中。我试过了,还是没有运气。