行PySpark数据框内的联合行

时间:2018-12-06 14:44:05

标签: python apache-spark dataframe row

我想将行中具有行的数据框转换为唯一行,如下所示:

我的数据框:

[Row(Autorzc=u'S', Cd=u'00000012793', ClassCli=u'A' Op=Row(CEP=u'04661904', CaracEspecial='S', Venc=Row(v110=u'1', v120=u'2'))),
Row(Autorzc=u'S', Cd=u'00000012794', ClassCli=u'A' Op=Row(CEP=u'04661904', CaracEspecial='S', Venc=Row(v110=u'1', v120=u'2')))]

我想转换成这个:

[Row(Autorzc=u'S', Cd=u'00000012793', ClassCli=u'A', CEP=u'04661904', CaracEspecial='S', v110=u'1', v120=u'2'),
Row(Autorzc=u'S', Cd=u'00000012794', ClassCli=u'A', CEP=u'04661904', CaracEspecial='S', v110=u'1', v120=u'2')]

有什么建议吗?

1 个答案:

答案 0 :(得分:0)

您可以执行简单的选择操作,列将相应地重命名。

final = initial.select("Autorzc","Cd" , "ClassCli", "Op.CEP"
       "Op.CaracEspecial","Op.Venc.v110","Op.Venc.v120")

print(final.first())