使用Spark Scala将镶木地板写入S3:java.lang.NullPointerException

时间:2018-01-12 16:28:46

标签: scala apache-spark amazon-s3

当我尝试使用以下代码使用Scala将镶木地板写入s3时:

ab.write.mode("overwrite").parquet(path)

错误显示:

  

org.apache.spark.SparkException:作业已中止。 (工作中止了。)......   rg.apache.spark.SparkException:作业因阶段失败而中止:任务   1阶段112.0失败1次,最近失败:丢失任务1.0 in   阶段112.0(TID 6273,localhost):java.lang.NullPointerException at   org.apache.hadoop.fs.LocalDirAllocator $ AllocatorPerContext.confChanged(LocalDirAllocator.java:268)     在   org.apache.hadoop.fs.LocalDirAllocator $ AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:344)     在   org.apache.hadoop.fs.LocalDirAllocator $ AllocatorPerContext.createTmpFileForWrite(LocalDirAllocator.java:412)     在   org.apache.hadoop.fs.LocalDirAllocator.createTmpFileForWrite(LocalDirAllocator.java:198)     在   org.apache.hadoop.fs.s3a.S3AOutputStream。(S3AOutputStream.java:87)     在   org.apache.hadoop.fs.s3a.S3AFileSystem.create(S3AFileSystem.java:410)     在org.apache.hadoop.fs.FileSystem.create(FileSystem.java:905)at   org.apache.hadoop.fs.FileSystem.create(FileSystem.java:886)at at   org.apache.hadoop.fs.FileSystem.create(FileSystem.java:783)

0 个答案:

没有答案