Question

我正在根据指南Configure Spark使用配置文件在AWS上设置EMR配置，例如，通过以下设置更改spark.executor.extraClassPath：

{
     "Classification": "spark-defaults",
     "Properties": {
         "spark.executor.extraClassPath": "/home/hadoop/mongo-hadoop-spark.jar",
     }
}

它可以正常运行，并且可以在emr spark conf上更改spark.executor.extraClassPath，但是emr在spark.executor.extraClassPath中有一些预设的默认路径，因此与其覆盖spark.executor.extraClassPath。我想知道是否有一种方法可以追加路径并保留默认路径，例如

{
     "Classification": "spark-defaults",
     "Properties": {
         "spark.executor.extraClassPath": "{$extraClassPath}:/home/hadoop/mongo-hadoop-spark.jar",
     }
}

Answer 1

您可以在emr模板中按如下所示指定它

Classification: spark-defaults
          ConfigurationProperties:
            spark.jars: Your jar location

Answer 2

指定所有其他jar的完整路径，而工作总结将为您工作。

-罐子

此选项会将这些jar提交给所有执行者，并且不会更改默认的额外类路径

我知道另外一个选择，但是我只与Yarn conf一起尝试过，但是不确定EMR

./ bin / spark-submit --class“ SparkTest” --master local [*] --jars /fullpath/first.jar,/fullpath/second.jar /fullpath/your-program.jar

Answer 3

您可以在spark-defaults.conf中放入“ spark.jars”，因此即使您使用的是笔记本，也将使用此配置。希望它能解决您的问题

EMR conf spark默认设置

3 个答案: