TaskCommitDenied（驱动程序拒绝任务提交），作业：<job＃=“”>分区：<partition＃=“”>，tryNumber：<attatt＃=“”>

Question

我们的其中一个火花以“ TaskCommitDenied（驱动程序拒绝任务提交），作业：1985，分区：886，tryNumber：7213”的错误消息连续循环（永不结束）。这发生在2个工作中（我在sparkUi中找到了它）。而且我观察到“ attemptNumber”很高。

请在下面的屏幕快照中找到包含确切错误的日志。

错误日志文件截图：

我假设驱动程序在executor上异步杀死了Fileoutputwriter，但是executor仍在尝试完成将任务写入hdfs的任务。这是怎么回事？如果是，是否有任何建议的解决方法？