错误＆＃34;此上下文​​的无效作业类型＆＃34;使用Spark作业服务器在spark SQL作业中

Question

我使用spark job服务器创建一个spark SQL作业，并按照下面的示例使用HiveContext：  https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/HiveTestJob.scala

我能够启动服务器，但是当我运行我的应用程序时（我的Scala类  它扩展了SparkSqlJob），我得到以下作为回应：

{
   "status": "ERROR",

   "result": "Invalid job type for this context"
 }

任何人都可以告诉我出了什么问题或提供详细的程序  用于为SparkSQL设置jobserver吗？

代码如下：

import com.typesafe.config.{Config, ConfigFactory}
import org.apache.spark._
import org.apache.spark.sql.hive.HiveContext
import spark.jobserver.{SparkJobValid, SparkJobValidation, SparkHiveJob}

object newHiveRest extends SparkHiveJob {


  def validate(hive: HiveContext, config: Config): SparkJobValidation = SparkJobValid

  def runJob(hive: HiveContext, config: Config): Any = {

    hive.sql(s"use default")
    val maxRdd = hive.sql(s"select count(*) from 'default'.'passenger'")

    maxRdd.count()
  }
}

Answer 1

对于Spark SQL，您可以使用以下

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/SqlTestJob.scala