数据透视表和pyspark中的onehot

Question

我有一个pyspark数据框，看起来像-

id      age      cost     gender
1        38       230      M
2        40       832      M
3        53       987      F
1        38       764      M
4        63       872      F
5        21       763      F

我希望数据框看起来像-

id      age      cost     gender    M       F
1        38       230      M        1       0
2        40       832      M        1       0
3        53       987      F        0       1
1        38       764      M        1       0
4        63       872      F        0       1
5        21       763      F        0       1
4        63      1872      F        0       1

使用python，我可以通过以下方式进行管理-

final_df = pd.concat([df.drop(['gender'], axis=1), pd.get_dummies(df['gender'])], axis=1)

如何在pyspark中进行管理？

Answer 1

只需要添加2列：

from pyspark.sql import functions as F
final_df = df.select(
    "id",
    "age",
    "cost",
    "gender",
    F.when(F.col("gender")==F.lit("M"),1).otherwise(0).alias("M"),
    F.when(F.col("gender")==F.lit("F"),1).otherwise(0).alias("F"),
)