错误spark-submit scala，ClassNotFoundException

Question

我正在尝试运行scala应用程序并在spark-shell中运行良好。但是当我使用spark-submit时，使用我的课程就失败了。

spark-submit --deploy-mode cluster --master yarn --class org.apache.spark.examples.SparkPi s3n://bucket/test.scala

Applicacion：

package org.apache.spark.examples

import org.apache.spark.sql.types._
import org.apache.spark.sql.SQLContext

object SparkPi {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Simple Application")
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    print("test")

  }
}

错误：

  

最终应用状态：FAILED，exitCode：10，（原因：未捕获的异常：   java.lang.ClassNotFoundException：org.apache.spark.examples.SparkPi）

Answer 1

尝试使用test.scala源构建jar并将其作为spark-submit的参数提供。在spark-submit中，您应该使用已编译的代码指定一个jar，而不是源代码本身。