Question

我有一个带有列(id:Integer,Name:String,Gender:String)的简单csv文件。我想使用withColumn向此数据框添加一列。我知道第一个参数是列名，但不太确定如何传递将按性别分组的第二个参数。有人可以帮我吗？

我尝试使用df.withColumn("Count",df.groupby("Gender").count())，但是它给出了类型不匹配错误，表示它期望使用列类型但得到一个数据帧。我尝试过使用col()并期望它进行类型转换。

val newDf=df.withColumn("count",col(df.groupBy("Gender").count()))

我希望添加了count列的新数据框。

Answer 1

我想这就是您要寻找的，使用window函数和count函数

import spark.implicits._

val df = Seq(
  (1, "name1", "M"),
  (2, "name2", "M"),
  (3, "name3", "M"),
  (4, "name4", "M"),
  (5, "name5", "F"),
  (6, "name6", "F"),
  (7, "name7", "M")
).toDF("id", "Name", "Gender")

val window = Window.partitionBy("Gender")

df.withColumn("count", count($"Gender").over(window))
  .show(false)

输出：

+---+-----+------+-----+
|id |Name |Gender|count|
+---+-----+------+-----+
|5  |name5|F     |2    |
|6  |name6|F     |2    |
|1  |name1|M     |5    |
|2  |name2|M     |5    |
|3  |name3|M     |5    |
|4  |name4|M     |5    |
|7  |name7|M     |5    |
+---+-----+------+-----+

如何通过对现有列进行一些转换来使用withcolumn添加列？

1 个答案: