在将数据帧保存到Cassandra中时遇到以下问题。我尝试在保存之前对数据帧进行重新分区,但是每次我看到为每个阶段创建了总共20个任务时,当最后3-4个阶段都保留在那里时,该作业就会失败。
ExecutorLostFailure(由于正在运行的任务之一而导致执行器8退出)原因:容器因超出内存限制而被YARN杀死。已使用11.2 GB的11 GB物理内存。考虑提高spark.yarn.executor.memoryOverhead。
org.apache.spark.shuffle.FetchFailedException:框架太大。...