我的问题类似于（Spark writing to hdfs not working with the saveAsNewAPIHadoopFile method）！我在CDH 5.2.1上使用Spark 1.1.0
我试图通过Spark中的saveAsTextFile方法将文件保存到hdfs系统。作业成功完成但是当我查看文件夹路径时，我看到_temporary文件夹中包含各种任务和尝试文件夹中的数据文件。这告诉我，即使在文件完全移动到右侧输出文件夹中的hdfs之前，Spark也会成功退出作业。这与saveAsParquetFile方法的问题也是一样的。如果您对此有任何疑问，请告诉我？
由于