Question

当我使用spark-submit spark-csv时，我使用以下命令

spark-submit --master spark://10.0.0.1:7077 --packages com.databricks:spark-csv_2.11:1.2.0  MyApp.jar

（注意：我使用--packages com.databricks:spark-csv_2.11:1.2.0）

问题是：如何使用spark启动器执行此操作（我无法找到从API中放入包信息的位置）？

（以下是我正在使用的代码）

import org.apache.spark.launcher.SparkLauncher

object Launcher extends App {

  val spark = new SparkLauncher()
  .setSparkHome("/myspark1.5.1path/")
  .setAppResource("/mypath/MyApp.jar")
  .setMainClass("MyApp")
  .setMaster("local[*]")
  .launch()
  spark.waitFor()
}

Answer 1

spark.addSparkArg("--packages", "com.databricks:spark-csv_2.11:1.2.0")

Apache Spark中的sparklauncher包？

1 个答案: