Question

我从外部文件创建一个数据框DF，它具有以下模式：

（id，field1，field2，field3）分区列：id

数据示例是

 000,  11_field1,  22_field2,  33_field3
 001, 111_field1, 222_field2, 333_field3

我想从DF创建另一个数据帧，架构是

 (id, fieleName, fieldValue)

数据示例是

000, field1,  11_field1
000, field2,  22_field2
000, field3,  33_field3
001, field1, 111_field1
001, field2, 222_field2
001, field3, 333_field3

有人能告诉我如何获取新数据框吗？

Answer 1

您可以使用pyspark选项

在explode中完成此操作，如下所示

首先导入必要的库和函数

from pyspark.sql import SQLContext, Row

假设您的数据框为df。

如果你df.show()

你应该得到如下的结果

+---+----------+----------+----------+
| id|    field1|    field2|    field3|
+---+----------+----------+----------+
|  0| 11_field1| 22_field2| 33_field3|
|  1|111_field1|222_field2|333_field3|
+---+----------+----------+----------+

然后将您要爆炸的所有列映射为2列。在这里，您希望除id之外的所有列都会爆炸。那么，请执行以下操作

cols= df.columns[1:]

然后将data frame转换为rdd，如下所示

rdd = data.rdd.map(lambda x: Row(id=x[0], val=dict(zip(cols, x[1:]))))

要检查rdd的映射方式，请执行以下操作

rdd.take()

您将获得如下结果

[Row(id=0, val={'field2': u'22_field2', 'field3': u'33_field3', 'field1': u'11_field1'}), Row(id=1, val={'field2': u'222_field2', 'field3': u'333_field3', 'field1': u'111_field1'})]

然后将rdd转换回data frame说df2

df2 = sqlContext.createDataFrame(rdd)

然后做df2.show()。你应该得到如下结果

+---+--------------------+
| id|                 val|
+---+--------------------+
|  0|Map(field3 -> 33_...|
|  1|Map(field3 -> 333...|
+---+--------------------+

然后将数据帧df2注册为临时表

df2.registerTempTable('mytempTable')

然后在数据框上运行如下所示的查询：

df3 = sqlContext.sql( """select id,explode(val) AS (fieldname,fieldvalue) from mytempTable""")

然后执行df3.show()，您应该得到如下结果

+---+---------+----------+
| id|fieldname|fieldvalue|
+---+---------+----------+
|  0|   field3| 33_field3|
|  0|   field2| 22_field2|
|  0|   field1| 11_field1|
|  1|   field3|333_field3|
|  1|   field2|222_field2|
|  1|   field1|111_field1|
+---+---------+----------+

如何从另一个数据框创建转置数据框

1 个答案: