Question

我有一个Spark-Cassandra连接器应用程序，代码的配置部分是：

val conf = new SparkConf(true).setAppName("Some Name")
    .set("spark.cassandra.connection.host", "127.0.0.1")
    .set("spark.executor.extraClassPath", "/absolute_path_to/my.jar")
val sc = new SparkContext("spark://127.0.0.1:7077", "App", conf)

我提交：

spark-submit --class com.data.MyApp --master yarn --deploy-mode cluster \
--executor-cores 2 --num-executors 2 --executor-memory 4G \
--jars /absolute_path_to/my.jar ./target/scala-2.10/ds-spark-assembly-1.0.jar

我可以让它发挥作用。但是我可以在spark.executor.extraClassPath的代码中使用“相对路径”吗？如果可以，路径是相对于所有群集节点中的位置？

由于

Answer 1

我的工作原理如下：

val conf = new SparkConf(true).setAppName("Some Name")
    .set("spark.cassandra.connection.host", "127.0.0.1")
    .setJars(Seq("my.jar"))
val sc = new SparkContext("spark://127.0.0.1:7077", "App", conf)

我无需在--jar中添加spark-submit选项。

为Spark YARN集群模式设置类路径的好方法是什么？

1 个答案: