AWS EMR添加步骤:如何在--jars和--driver-class-path选项中从s3添加多个jar?

时间:2019-04-18 21:26:30

标签: scala amazon-web-services apache-spark amazon-emr spark-submit

因此,我尝试使用QHeaderView::FixedApache Spark模式下在AWS EMR上运行cluster应用程序。如果我在类路径中仅提供一个jar,则使用spark-submit--jar选项的给定选项可以正常工作。根据EMR的要求,我所有需要的依赖项jar都位于--driver-class-path存储桶中。为此,我在EMR AWS控制台的EMR添加步骤选项中使用以下命令:

S3

现在,我在--class org.springframework.boot.loader.JarLauncher --jars s3://emrb/gson-2.8.4.jar --driver-class-path s3://emrb/gson-2.8.4.jar 的{​​{1}}区域中提供此选项。但是,如果我想使用相同的方式提供多个相关的jar,则不会占用其他jar。我正在提供以下方法,并尝试了各种选项,但找不到依赖的jar:

spark-submit options

1 个答案:

答案 0 :(得分:-1)

您可以将jar文件添加到spark-defaults中。如果jar列表中有多个条目,请使用:作为分隔符。

您应该使用:

-driver-class-path s3://emrb/hadoop_jars/emrfs-hadoop-assembly-2.32.0.jar:s3://emrb/gson-2.8.4.jar