我正在尝试在yarn-client模式下使用spark-submit运行spark程序并获取classNotFound Exception。所以我的问题是我应该在哪个参数中传递我的jar(-jars或--driver-class-path)。
Spark = 2.0.0 HDP 2.5 Hadoop = 2.7.3
答案 0 :(得分:0)
如果要使这些jar对驱动程序和执行程序类路径都可用,请使用--jars
。如果驱动程序代码仅使用所需的jar,请使用选项--driver-class-path