我遇到以下错误:
我编写了一个基于Spark流( Dstream )的应用程序,以提取来自PubSub的消息。不幸的是,我在执行此作业时遇到错误。实际上,我正在使用由4个节点组成的集群来执行Spark Job。
作业运行10分钟后,没有任何特定的错误,我永久得到以下错误:
org.apache.spark.streaming.CheckpointWriter错误:
无法将检查点任务提交给线程池执行程序java.util.concurrent.RejectedExecutionException:任务org.apache.spark.streaming.CheckpointWriter$CheckpointWriteHandler@68395dc9被拒绝
来自java.util.concurrent.ThreadPoolExecutor@1a1acc25
[正在运行,池大小= 1,活动线程= 1,已排队的任务= 1000,已完成的任务= 412]