当我尝试使用以下代码使用Scala将镶木地板写入s3时:
ab.write.mode("overwrite").parquet(path)
错误显示:
org.apache.spark.SparkException:作业已中止。 (工作中止了。)...... rg.apache.spark.SparkException:作业因阶段失败而中止:任务 1阶段112.0失败1次,最近失败:丢失任务1.0 in 阶段112.0(TID 6273,localhost):java.lang.NullPointerException at org.apache.hadoop.fs.LocalDirAllocator $ AllocatorPerContext.confChanged(LocalDirAllocator.java:268) 在 org.apache.hadoop.fs.LocalDirAllocator $ AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:344) 在 org.apache.hadoop.fs.LocalDirAllocator $ AllocatorPerContext.createTmpFileForWrite(LocalDirAllocator.java:412) 在 org.apache.hadoop.fs.LocalDirAllocator.createTmpFileForWrite(LocalDirAllocator.java:198) 在 org.apache.hadoop.fs.s3a.S3AOutputStream。(S3AOutputStream.java:87) 在 org.apache.hadoop.fs.s3a.S3AFileSystem.create(S3AFileSystem.java:410) 在org.apache.hadoop.fs.FileSystem.create(FileSystem.java:905)at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:886)at at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:783)