如何将第一列转换为DF pyspark中的标题?

时间:2018-10-24 10:46:55

标签: python apache-spark pyspark apache-spark-sql pyspark-sql

我通过执行以下代码创建了数据框:

ps.txt:
p1|var1
p2|var2
p3|var3
p4|var4
p5|var5
p6|var6


rdd1 = sc.textFile('C://Users//test//Desktop/ps.txt')
t = rdd1.map(lambda x: x.split('|')).map(lambda x: (x[0],x[1])).toDF(['col_name','data_type'])
t.show(100,False)  

+-----+------+
|col  |type  |
+-----+------+
|p1   |var1  |
|p2   |var2  |
|p3   |var3  |
|p4   |var4  |
|p5   |var5  |
|p6   |var6  |
+-----+------+

现在我想将第一列转换为表头,将第二列转换为表的第一行。 我预期的结果如下:

+-----+------+-----+------+-----+------+
|p1   |p2    |p3   |p4    | p5  |p6    |
+-----+------+-----+------+-----+------+
|var1 |var2  |var3 |var4  |var5 |var5  |
+-----+------+-----+------+-----+------+

请提前帮助我。

0 个答案:

没有答案