识别spark任务中的数据帧

时间:2016-12-07 11:47:26

标签: apache-spark

我正在做一个POC,我在其中实现了自定义Spark Listener。 我有重写的方法,如onTaskEnd(taskEnd:SparkListenerTaskEnd),onStageCompleted(stageCompleted:SparkListenerStageCompleted)等 从中我可以获得诸如taskId,recordsWritten,stageId,recordsRead等信息。 但我无法识别任务中执行的数据帧。 例如:我需要识别读取输入文件的数据帧或连接数据帧的任务。

有人可以为我提供一些上述用例的解决方案,我可以在执行任务时获取数据帧信息吗?

由于

0 个答案:

没有答案