删除pyspark时间序列数据帧中的重复项

Question

这是火花的Read range of files in pySpark端口。

我在数据框中有时间序列数据，如下所示：

Index Time Value_A Value_B
0     1    A       A
1     2    A       A
2     2    B       A
3     3    A       A
4     5    A       A

我想删除Value_A和Value_B列中的副本，以便仅在遇到不同的模式时才会删除重复项。此示例数据的结果应为：

Index Time Value_A Value_B
0     1    A       A
2     2    B       A
3     3    A       A