我正在做一个POC,我在其中实现了自定义Spark Listener。 我有重写的方法,如onTaskEnd(taskEnd:SparkListenerTaskEnd),onStageCompleted(stageCompleted:SparkListenerStageCompleted)等 从中我可以获得诸如taskId,recordsWritten,stageId,recordsRead等信息。 但我无法识别任务中执行的数据帧。 例如:我需要识别读取输入文件的数据帧或连接数据帧的任务。
有人可以为我提供一些上述用例的解决方案,我可以在执行任务时获取数据帧信息吗?
由于