通过spark数据帧写入HDFS的文件名

时间:2018-10-24 03:44:16

标签: apache-spark hadoop apache-spark-sql hdfs

问题是关于星火1.6

SaveMode.APPEND模式将数据帧写入HDFS时,我想知道哪些文件是新创建的。
一种方法是在作业前后跟踪HDFS中的文件,是否有更好的方法?

Map-Reduce还在末尾打印作业统计信息,每个火花动作是否都有类似的内容。

0 个答案:

没有答案