我有spark应用程序,并且实现了DataFrame扩展-
def transform : Dataframe => Dataframe
,因此应用程序开发人员可以在我的框架中传递自定义转换。像
builder.load(path).transform(_.filter(col("sample") == lit(""))).
现在,我想跟踪执行火花期间发生了什么: 日志:
因此,这个想法是保留操作日志并在末尾漂亮地打印它,但是为此,我需要以某种方式获取Dataframe => DataFrame函数的内容。宏可能会帮助我,但我不确定。我实际上不需要代码(不过会感激),而只是获得前进的方向。