Question

我试图破坏一个字符串（技术上是从数据帧中的列传递的字符串）并将这些损坏的字符串作为列表返回给dataframe。 Scala版本2.11。我更喜欢使用udf的scala或pyspark解决方案 - 因为udf内部发生了很多事情。

我们说我有一个数据框：

val df = List(("123", "a*b*c*d*e*f*x*y*z"), ("124", "g*h*i*j*k*l*m*n*o")).toDF("A", "B")

我想要的结果（在udf中，因为那里发生了很多事情; Scala版本2.11） -

 A       B
123    ((a, b, c),
        (d, e, f),
        (x, y, z))
124    ((g, h, i),
        (j, k, l), 
        (m, n, o))

编写一个udf来打破这个并返回列表 - 但是，我不知道如何定义或传递模式以将结果作为三列返回到数据框中。

def testUdf =  udf( (s: String) => { 
  val a = s.split("\\*").take(3).toList
  val b = s.split("\\*").drop(3).take(3).toList
  val c = s.split("\\*").drop(6).take(3).toList
  val abc = (a, b, c).zipped.toList.asInstanceOf[List[String]]
  // println (abc) // This does not work
} )
val df2 = df.select($"A", testUdf($"B").as("B")) // does not work because of type mismatch.

我尝试过这样做 - 但是，我不知道如何将模式传递给上面的Udf：

   val schema = StructType(List(
     StructField("C1", StringType),
     StructField("C2", StringType),
     StructField("C3", StringType)
   ))

此外，在此之后，我希望按照Explode multiple columns in Spark SQL table上列出的程序来爆炸数据框。

非常感谢帮助。

Answer 1

您定义的udf是从String到Unit - 从最后一行删除abc以返回它另请注意，asInstanceOf []不会更改类型 - 您仍然有一个元组以下将为您提供列表清单

def testUdf =  udf( (s: String) => { 
  val a = s.split("\\*").take(3).toList
  val b = s.split("\\*").drop(3).take(3).toList
  val c = s.split("\\*").drop(6).take(3).toList
  (a, b, c).zipped.toList.map(t=>List(t._1,t._2,t._3))
} )

Answer 2

在zipped之前生成数组的方式不会正确呈现元素。以所需顺序生成元素的一种方法是在应用zipped之前使用二维数组预先转置元素。

以下UDF将1）将字符串列拆分为一个数组，该数组转换为二维数组，2）将二维数组的行压缩为元组数组，以及3）转换元组数组到元组的元组（即结构的列类型结构）：

val df = Seq(
  ("123", "a*b*c*d*e*f*x*y*z"),
  ("124", "g*h*i*j*k*l*m*n*o")
).toDF("A", "B")

import org.apache.spark.sql.functions._

def splitUdf = udf( (s: String) => {
  val arr = s.split("\\*")
  val arr2d = Array.ofDim[String](3, 3)

  for {
    r <- 0 until 3
    c <- 0 until 3
  } arr2d(r)(c) = arr(c * 3 + r)

  val arrTup = (arr2d(0), arr2d(1), arr2d(2)).zipped.toArray

  (arrTup(0), arrTup(1), arrTup(2))
} )

val df2 = df.select($"A", splitUdf($"B").as("B"))

df2.show(false)
// +---+-------------------------+
// |A  |B                        |
// +---+-------------------------+
// |123|[[a,b,c],[d,e,f],[x,y,z]]|
// |124|[[g,h,i],[j,k,l],[m,n,o]]|
// +---+-------------------------+

Answer 3

问题是你的UDF返回Unit（最后一个语句是返回值）。我建议采用以下程序：

val df = List(("123", "a*b*c*d*e*f*x*y*z"), ("124", "g*h*i*j*k*l*m*n*o")).toDF("A", "B")

def testUdf = udf((s: String) => {
  val Array(s1, s2, s3, s4, s5, s6, s7, s8, s9) = s.split(s"\\*")
  Seq(
    (s1, s2, s3),
    (s4, s5, s6),
    (s7, s8, s9)
  )
})

val df2 = df.select($"A", explode(testUdf($"B")).as("B"))

df2.show()

+---+-------+
|  A|      B|
+---+-------+
|123|[a,b,c]|
|123|[d,e,f]|
|123|[x,y,z]|
|124|[g,h,i]|
|124|[j,k,l]|
|124|[m,n,o]|
+---+-------+

在断开字符串后，Scala会在UDF中返回多个列

3 个答案: