获取数组列的大小/长度

Question

我是Scala编程的新手，这是我的问题：如何计算每行的字符串数？我的Dataframe由一列Array [String]类型组成。

friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>]

Answer 1

您可以使用size功能：

val df = Seq((Array("a","b","c"), 2), (Array("a"), 4)).toDF("friends", "id")
// df: org.apache.spark.sql.DataFrame = [friends: array<string>, id: int]

df.select(size($"friends").as("no_of_friends")).show
+-------------+
|no_of_friends|
+-------------+   
|            3|
|            1|
+-------------+

要添加为新列：

df.withColumn("no_of_friends", size($"friends")).show
+---------+---+-------------+
|  friends| id|no_of_friends|
+---------+---+-------------+
|[a, b, c]|  2|            3|
|      [a]|  4|            1|
+---------+---+-------------+

Answer 2

您可以使用 size 函数，该函数将为您提供数组中元素的数量。 @aloplop85 指出的唯一问题是，对于空数组，它为您提供 1 的值，这是正确的，因为空字符串也被视为数组中的值，但是如果您想为您的用例解决这个问题，其中如果数组有一个值并且也是空字符串，则您希望大小为零。

//source data
val df = Seq((Array("a","b","c"), 2), (Array("a"), 4),(Array(""),6)).toDF("friends", "id")
//check the size of the array and see if it 1 and first element is empty string then set value to 0
val df1 = df.withColumn("no_of_friends",when(size(col("friends")) === 1 && col("friends")(0) === "" , lit(0)).otherwise(size(col("friends")) ))

您可以验证输出如下：