我有一个重复的列名的数据框。我需要标识具有相同名称的重复列,并且应该创建与新数据框相同的重复列。 例如我的输入数据框如下
df=spark.createDataFrame([(1,2,3,4,5)],['c','b','a','a','b'])
df.show()
dataframe:-
+---+---+---+---+---+
| c| b| a| a| b|
+---+---+---+---+---+
| 1| 2| 3| 4| 5|
+---+---+---+---+---+