spark.jars和spark.driver.extraClassPath有什么区别

时间:2017-04-17 09:51:22

标签: apache-spark hadoop2

我正在尝试在yarn-client模式下使用spark-submit运行spark程序并获取classNotFound Exception。所以我的问题是我应该在哪个参数中传递我的jar(-jars或--driver-class-path)。

Spark = 2.0.0 HDP 2.5 Hadoop = 2.7.3

1 个答案:

答案 0 :(得分:0)

如果要使这些jar对驱动程序和执行程序类路径都可用,请使用--jars。如果驱动程序代码仅使用所需的jar,请使用选项--driver-class-path