Question

我有一个场景，我想实现一个Cake Pattern的变体，但是为一个类添加隐式功能（一个Spark DataFrame）。

所以，基本上，我希望能够运行如下代码：

trait Transformer {
  this: ColumnAdder =>

  def transform(input: DataFrame): DataFrame = {
    input.addColumn("newCol")
  }
}

val input = sqlContext.range(0, 5)
val transformer = new Transformer with StringColumnAdder
val output = transformer.transform(input)
output.show

找到如下结果：

+---+------+
| id|newCol|
+---+------+
|  0|newCol|
|  1|newCol|
|  2|newCol|
|  3|newCol|
|  4|newCol|
+---+------+

我的第一个想法是仅在基本特征中定义隐式类：

trait ColumnAdder {
  protected def _addColumn(df: DataFrame, colName: String): DataFrame

  implicit class ColumnAdderRichDataFrame(df: DataFrame) {
    def addColumn(colName: String): DataFrame = _addColumn(df, colName)
  }
}

trait StringColumnAdder extends ColumnAdder {
  protected def _addColumn(df: DataFrame, colName: String): DataFrame = {
    df.withColumn(colName, lit(colName))
  }
}

它的工作原理，但我对这种方法并不完全满意，因为功能签名重复。所以我想到了另一种方法，使用（不推荐的？）implicit def策略：

trait ColumnAdder {
  protected implicit def columnAdderImplicits(df: DataFrame): ColumnAdderDataFrame

  abstract class ColumnAdderDataFrame(df: DataFrame) {
    def addColumn(colName: String): DataFrame
  }
}

trait StringColumnAdder extends ColumnAdder {
  protected implicit def columnAdderImplicits(df: DataFrame): ColumnAdderDataFrame = new StringColumnAdderDataFrame(df)

  class StringColumnAdderDataFrame(df: DataFrame) extends ColumnAdderDataFrame(df) {
    def addColumn(colName: String): DataFrame = {
      df.withColumn(colName, lit(colName))
    }
  }
}

（可以找到完整的可重现代码，包括额外的特征模块here）

所以，我想问哪种方法是最好的，是否有另一种更好的方法来实现我想要的。

Answer 1

只有两个快捷方式，但没有什么真正惊人的：

trait ColumnAdder {
  protected implicit def columnAdderImplicits(df: DataFrame): ColumnAdderDataFrame
  abstract class ColumnAdderDataFrame {
    def addColumn(colName: String): DataFrame
  }
}

trait StringColumnAdder extends ColumnAdder {
  override def columnAdderImplicits(df: DataFrame) =
    new ColumnAdderDataFrame {
      def addColumn(colName: String): DataFrame =
        df.withColumn(colName, lit(colName))
    }
}

如果您愿意启用-language:reflectiveCalls（请注意含义），那么您也可以写：

trait ColumnAdder {
  protected implicit def columnAdderImplicits(df: DataFrame): {
    def addColumn(colName: String): DataFrame
  }
}

trait StringColumnAdder extends ColumnAdder {
  override def columnAdderImplicits(df: DataFrame) = new {
    def addColumn(colName: String): DataFrame =
      df.withColumn(colName, lit(colName))
  }
}

使用隐式功能实现Cake Pattern

1 个答案: