如何用pivot实现Transformer中的transformSchema

时间:2018-03-27 05:12:40

标签: scala apache-spark apache-spark-ml

我有这段代码:

override def transform(dataset: Dataset[_]): DataFrame = {
  df.groupBy($(idCol))
    .pivot("period")
    .agg($(aggfunct).toAggFunction)
    .na.fill(0)
    .orderBy($(idCol))
}

这是在一些自定义Transformer中实现的。我该如何实现呢? transformSchema(schema: StructType)如果我不知道结果列,我会发挥作用吗?

0 个答案:

没有答案