基本上，我想通过命令行检查Spark配置的属性，例如“spark.local.dir”，即不编写程序。有没有办法做到这一点？
答案 0 :(得分：3)
没有从命令行查看spark配置属性的选项。
您可以在spark-default.conf文件中查看它。另一种选择是从webUI查看。
http://driverIP:4040处的应用程序Web UI在“环境”选项卡中列出了Spark属性。仅显示通过spark-defaults.conf，SparkConf或命令行显式指定的值。对于所有其他配置属性，您可以假设使用默认值。
有关详细信息，请参阅Spark Configuration
答案 1 :(得分：1)
基于http://spark.apache.org/docs/latest/configuration.html。 Spark提供三个位置来配置系统：
环境变量可用于设置每台机器设置，例如IP地址，通过每个机器上的conf / spark-env.sh脚本 节点。
可以通过log4j.properties配置日志记录。
我还没有通过命令行听说过方法。
答案 2 :(得分：1)
我们可以使用以下命令检入Spark shell：
scala> spark.conf.get("spark.sql.shuffle.partitions")
res33: String = 200
答案 3 :(得分：0)
以下命令在控制台上打印conf属性
sc.getConf.toDebugString
答案 4 :(得分：0)
从 CLI 检查 spark 配置的主命令
sc._conf.getAll()