我是Scala(和Spark)的新手,我不确定如何处理这种情况:
我有一列(GenericRowWithSchema),需要将其发送到UDF函数。
val sampleUdf: UserDefinedFunction = udf {(a: Row, b: String) => mapSample(a, b)}
mapSample
是一个简单的函数,它获取a
行,对其进行处理,然后返回其新版本:
def mapSample(a: Row, b: String): Row = {
// ...
new GenericRowWithSchema(new_a, a.schema)
}
哪个原因导致
由以下原因引起:java.lang.UnsupportedOperationException:不支持org.apache.spark.sql.Row类型的架构
不确定我应该如何进行...我只想获取行(a),对其进行处理,然后将其作为行返回。
谢谢!