Question

Hadoop提供了Configurable和Configuration来让类访问SparkConf对象。除了通过构造函数传递{{1}}之外，Spark中还有其他类似的方法吗？

Answer 1

首先，使用conf / spark-defaults.conf提供配置，例如：

    spark.master            spark://5.6.7.8:7077
    spark.executor.memory   4g
    spark.eventLog.enabled  true
    spark.serializer        org.apache.spark.serializer.KryoSerializer

第二，使用spark-submit传递配置参数，例如：

    ./bin/spark-submit --name "My app" --master local[4] --conf spark.eventLog.enabled=false
  --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar

Hadoop在Spark中的等效配置

1 个答案: