Question

我在Spark 1.6.0中使用Spark Job Server 0.6.2，在一些作业提交尝试中，我得到以下异常：

[ERROR] 2016-11-16 08:01:59,595 spark.jobserver.context.DefaultSparkContextFactory$$anon$1 logError - Error initializing SparkContext.
java.lang.NullPointerException
at org.apache.spark.scheduler.TaskSchedulerImpl.<init>(TaskSchedulerImpl.scala:106)
at org.apache.spark.scheduler.TaskSchedulerImpl.<init>(TaskSchedulerImpl.scala:60)
at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler(SparkContext.scala:2630)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:522)
at spark.jobserver.context.DefaultSparkContextFactory$$anon$1.<init>(SparkContextFactory.scala:53)
at spark.jobserver.context.DefaultSparkContextFactory.makeContext(SparkContextFactory.scala:53)
at spark.jobserver.context.DefaultSparkContextFactory.makeContext(SparkContextFactory.scala:48)
at spark.jobserver.context.SparkContextFactory$class.makeContext(SparkContextFactory.scala:37)
at spark.jobserver.context.DefaultSparkContextFactory.makeContext(SparkContextFactory.scala:48)
at spark.jobserver.JobManagerActor.createContextFromConfig(JobManagerActor.scala:378)
at spark.jobserver.JobManagerActor$$anonfun$wrappedReceive$1.applyOrElse(JobManagerActor.scala:122)

可能是什么原因？

Answer 1

看起来jobserver无法在配置文件中找到spark上下文配置。请使用有效的配置文件。例如：

{{1}}

使用NullPointerException在Spark作业服务器中作业提交失败

1 个答案: