UDF返回行

时间:2018-07-04 20:31:39

标签: scala apache-spark-sql user-defined-functions

我是Scala(和Spark)的新手,我不确定如何处理这种情况:

我有一列(GenericRowWithSchema),需要将其发送到UDF函数。

val sampleUdf: UserDefinedFunction = udf {(a: Row, b: String) => mapSample(a, b)}

mapSample是一个简单的函数,它获取a行,对其进行处理,然后返回其新版本:

def mapSample(a: Row, b: String): Row = {
    // ...
    new GenericRowWithSchema(new_a, a.schema)
}

哪个原因导致

  

由以下原因引起:java.lang.UnsupportedOperationException:不支持org.apache.spark.sql.Row类型的架构

不确定我应该如何进行...我只想获取行(a),对其进行处理,然后将其作为行返回。

谢谢!

0 个答案:

没有答案