我得到了这个例外:
Exception in thread "pool-6-thread-1" java.lang.NullPointerException
at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler.run(JobScheduler.scala:173)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
at java.lang.Thread.run(Thread.java:722)
知道可能导致这种情况的原因吗?我正在使用自定义接收器运行Spark Streaming作业。接收器停止但仍有待处理的数据。
因此它会在停止之前等待处理数据。因为stopGracefully设置为true。
但在处理完所有数据之前,我收到此错误。