获取所有用户执行的spark目标的目标目录/位置

Question

我正在研究报告工具，我需要找出群集中所有用户执行的已保存的火花作业RDD的输出位置。我尝试了spark历史服务器API / spark事件日志/ spark侦听器/ YARN日志，但无法获取已执行作业的位置。

提前谢谢你......

Answer 1

最终输出位于您传递给HadoopRDD或数据帧上调用的{{write（path：String）}}的路径下。