如何将自己的jar包含在纱线客户端中

Question

我正在运行火花：

./bin/spark-shell --master yarn-client

我想要包含一个Jar定义类，以便我可以从spark shell scala中导入和使用这些类和方法＆gt;

Answer 1

你可以使用

./bin/spark-shell --master yarn-client --jars /path/to/myjar.jar

或

spark.executor.extraClassPath=/path/to/myjar.jar
spark.driver.extraClassPath=/path/to/myjar.jar

或只是将其添加到HADOOP_CLASSPATH

中