为什么Spark JobScheduler中出现空指针异常?

时间:2014-11-21 15:23:46

标签: apache-spark spark-streaming

我得到了这个例外:

Exception in thread "pool-6-thread-1" java.lang.NullPointerException
  at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler.run(JobScheduler.scala:173)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
  at java.lang.Thread.run(Thread.java:722)

知道可能导致这种情况的原因吗?我正在使用自定义接收器运行Spark Streaming作业。接收器停止但仍有待处理的数据。

因此它会在停止之前等待处理数据。因为stopGracefully设置为true。

但在处理完所有数据之前,我收到此错误。

0 个答案:

没有答案