标签: apache-spark hadoop apache-spark-sql hdfs
问题是关于星火1.6
以SaveMode.APPEND模式将数据帧写入HDFS时,我想知道哪些文件是新创建的。 一种方法是在作业前后跟踪HDFS中的文件,是否有更好的方法?
SaveMode.APPEND
Map-Reduce还在末尾打印作业统计信息,每个火花动作是否都有类似的内容。