因此,我尝试使用QHeaderView::Fixed
在Apache Spark
模式下在AWS EMR上运行cluster
应用程序。如果我在类路径中仅提供一个jar,则使用spark-submit
和--jar
选项的给定选项可以正常工作。根据EMR的要求,我所有需要的依赖项jar都位于--driver-class-path
存储桶中。为此,我在EMR AWS控制台的EMR添加步骤选项中使用以下命令:
S3
现在,我在--class org.springframework.boot.loader.JarLauncher --jars s3://emrb/gson-2.8.4.jar --driver-class-path s3://emrb/gson-2.8.4.jar
的{{1}}区域中提供此选项。但是,如果我想使用相同的方式提供多个相关的jar,则不会占用其他jar。我正在提供以下方法,并尝试了各种选项,但找不到依赖的jar:
spark-submit options
答案 0 :(得分:-1)
您可以将jar文件添加到spark-defaults中。如果jar列表中有多个条目,请使用:作为分隔符。
您应该使用:
-driver-class-path s3://emrb/hadoop_jars/emrfs-hadoop-assembly-2.32.0.jar:s3://emrb/gson-2.8.4.jar