在spark命令中使用--driver-class-path有什么用？

Question

根据spark docs，

  

要开始使用，您需要在spark类路径中包含特定数据库的JDBC驱动程序。例如，要从Spark Shell连接到postgres，您将运行以下命令：

bin/spark-shell --driver-class-path postgresql-9.4.1207.jar --jars postgresql-9.4.1207.jar

没有--driver-class-path ，工作正常。那么，--driver-class-path在spark命令中的用途是什么？

Answer 1

--driver-class-path或spark.driver.extraClassPath可用于仅修改Spark驱动程序的类路径。这对于执行程序不需要的库（例如，仅在本地使用的任何代码）非常有用。

与此相比，--jars或spark.jars不仅会为驱动程序和执行程序类路径添加jar，还会在集群上分发存档。如果特定jar只由驱动程序使用，则这是不必要的开销。