Question

我有一个具有以下架构的数据框：

    root
     |-- e: array (nullable = true)
     |    |-- element: string (containsNull = true)

例如，启动一个数据框：

val df = Seq(Seq("73","73"), null, null, null, Seq("51"), null, null, null, Seq("52", "53", "53", "73", "84"), Seq("73", "72", "51", "73")).toDF("e")

df.show()

+--------------------+
|                   e|
+--------------------+
|            [73, 73]|
|                null|
|                null|
|                null|
|                [51]|
|                null|
|                null|
|                null|
|[52, 53, 53, 73, 84]|
|    [73, 72, 51, 73]|
+--------------------+

我希望输出为：

+--------------------+
|                   e|
+--------------------+
|                [73]|
|                null|
|                null|
|                null|
|                [51]|
|                null|
|                null|
|                null|
|    [52, 53, 73, 84]|
|        [73, 72, 51]|
+--------------------+

我正在尝试以下udf：

def distinct(arr: TraversableOnce[String])=arr.toList.distinct
val distinctUDF=udf(distinct(_:Traversable[String]))

但是它仅在行不为空时有效。

df.filter($"e".isNotNull).select(distinctUDF($"e"))

给我

+----------------+
|          UDF(e)|
+----------------+
|            [73]|
|            [51]|
|[52, 53, 73, 84]|
|    [73, 72, 51]|
+----------------+

但是

df.select(distinctUDF($"e"))

失败。在这种情况下，如何使udf句柄为null？或者，如果有一种更简单的方法来获取唯一值，我想尝试一下。

Answer 1

仅当列值不是when().otherwise()时，才可以使用null来应用UDF。在这种情况下，.otherwise(null)也可以跳过，因为当未指定null子句时默认为otherwise。

val distinctUDF = udf( (s: Seq[String]) => s.distinct )

df.select(when($"e".isNotNull, distinctUDF($"e")).as("e"))

从Spark数据框列中ArrayType类型的行中获取不同的元素

1 个答案: