如何正确提交火花工作?

时间:2016-06-09 18:02:13

标签: scala apache-spark

我有一些scala / spark代码,打包到sparktest_2.10-1.0.jar文件中 我试图做火花提交:

spark-submit --class sparktest_2.10-1.0 --master local[2]

我得到:Error: Must specify a primary resource (JAR or Python or R file)

做spark-submit的正确方法是什么?

1 个答案:

答案 0 :(得分:2)

spark-submit
  --class "main-class"
  --master spark://master-url
  --deploy-mode "deploy-mode"
  --conf <key>=<value>  
  ... # other options
  application-jar
  [application-arguments]

例如:

spark-submit --class "com.example.myapp" myapp.jar