根据ID和日期从长到宽PySpark

时间:2018-06-29 06:52:49

标签: apache-spark pyspark

我被困住了,真的找不到解决我问题的方法。

我有一个看起来像这样的数据框:

IP   Date  Time1 Time2 Time3 Time4 
IP1   d1     V1    V2    V3   V4
IP1   d2     X1    X2    X3   X4

所以我基本上想将我的上表从长格式转换为宽格式,以便每个IP都有一个唯一的行,每个日期和时间都有不同的列,并且该列中的对应值。

IP   d1_Time1 d1_Time2 d1_Time3 d1_Time4 d2_Time1 d2_Time2 d2_Time3 d2_Time4
IP1    V1        V2        V3      V4       X1       X2      X3       X4

在Pyspark中这可能吗?

0 个答案:

没有答案