将PySpark DataFrame转换回行

时间:2016-05-25 11:34:07

标签: dataframe pyspark transformation rdd

我有一些现有的代码依赖于ala中的数据: [u'0,1,1,5,0,1382,4,15]

为了进行一些转换,我不得不将我的RDD转换为数据帧sp,它现在看起来像这样:

行(a = u'1',代码= u'ts = 12206384',日期= u'2014-10-05',cstat ='200','substat'= 0,',时间= 0, time = u'00:06:18'Target = 0)]

是否可以将spark DF转换回原来的行格式,以便我的其余代码能够正常工作?

1 个答案:

答案 0 :(得分:1)

我假设你想要从Row对象回到单个逗号分隔值的字符串。

您将获取包含Row个对象的数据框,并执行以下操作:

df_of_row_objects.map(lambda row: ",".join(x for x in row))

此代码遍历数据框中的每个Row,并用逗号连接行中的每个项目。