Scala:打印功能定义的内容

时间:2019-06-03 20:42:26

标签: scala apache-spark macros

我有spark应用程序,并且实现了DataFrame扩展-

    def transform : Dataframe => Dataframe

,因此应用程序开发人员可以在我的框架中传递自定义转换。像

    builder.load(path).transform(_.filter(col("sample") == lit(""))).

现在,我想跟踪执行火花期间发生了什么: 日志:

  • val df = spark.read()
  • val df2 = df.filter(col(“ sample”)== lit(“”)))
  • ...

因此,这个想法是保留操作日志并在末尾漂亮地打印它,但是为此,我需要以某种方式获取Dataframe => DataFrame函数的内容。宏可能会帮助我,但我不确定。我实际上不需要代码(不过会感激),而只是获得前进的方向。

0 个答案:

没有答案