Question

我有一个列表lists=[0,1,2,3,5,6,7]。订单不是顺序的。我有一个9列的pyspark数据框。

+-------------------+--------+--------+--------+--------+--------+--------+---------------+-----+----+
|               date|ftt (°c)|rtt (°c)|fbt (°c)|rbt (°c)|fmt (°c)|rmt (°c)|fmhhumidityunit|index|Diff|
+-------------------+--------+--------+--------+--------+--------+--------+---------------+-----+----+
|2019-02-01 05:29:47|     NaN|     NaN|     NaN|     NaN|     NaN|     NaN|            NaN|    0| NaN|
|2019-02-01 05:29:17|     NaN|     NaN|     NaN|     NaN|     NaN|    NaN|           NaN|    1| NaN |

我需要将列表作为列添加到现有数据框中。我的列表顺序不正确，所以我无法使用udf。有办法吗？请帮帮我我希望它像这样

+-------------------+--------+--------+--------+--------+--------+--------+---------------+-----+----+------+
|               date|ftt (°c)|rtt (°c)|fbt (°c)|rbt (°c)|fmt (°c)|rmt (°c)|fmhhumidityunit|index|Diff|lists |
+-------------------+--------+--------+--------+--------+--------+--------+---------------+-----+----+-------+
|2019-02-01 05:29:47|     NaN|     NaN|     NaN|     NaN|     NaN|     NaN|            NaN|    0| NaN|0     |
|2019-02-01 05:29:17|     NaN|     NaN|     NaN|     NaN|     NaN|     NaN|           NaN|    1| NaN |1     |

Answer 1

不太确定是必须要这样还是要期待其他东西。如果列表项和数据框行的数量必须相同，那么这是一种简单的方法。

对于具有三列的给定样本数据框：

 l = [(1,'DEF',33),(2,'KLM',22),(3,'ABC',32),(4,'XYZ',77)]
 df=spark.createDataFrame(l, ['id', 'value','age'])

让我们说一下清单：

lists=[5,6,7,8]

可以从此列表创建rdd，并在数据帧中使用zip函数，并在其上使用map函数。

listrdd = sc.parallelize(lists)

newdf=df.rdd.zip(listrdd).map(lambda (x,y ) : ([x for x in x] + [y])).toDF(["id", "Value",",age","List_element"])

>>> ziprdd=df.rdd.zip(listrdd)
>>> ziprdd.take(50)
[(Row(id=1, value=u'DEF', age=33), 5), (Row(id=2, value=u'KLM', age=22), 6), (Row(id=3, value=u'ABC', age=32), 7), (Row(id=4, value=u'XYZ', age=77), 8)]

作为具有第一个元素的zip函数返回键值对，包含来自第一个rdd的数据，第二个元素包含来自第二个rdd的数据。我对第一个元素使用列表推导，并将其与第二个元素串联。

它是动态的，可以用于n个列，但是列表元素和数据框行必须相同。

>>> newdf.show()
]+---+-----+----+------------+
| id|Value|,age|List_element|
+---+-----+----+------------+
|  1|  DEF|  33|           5|
|  2|  KLM|  22|           6|
|  3|  ABC|  32|           7|
|  4|  XYZ|  77|           8|
+---+-----+----+------------+

注意：使用zip方法时，两个rdd分区数必须相同，否则会出现错误

ValueError: Can only zip with RDD which has the same number of partitions

Answer 2

您可以join两个df，如下所示：

df2 = spark.createDataFrame()
df= df.join(df2, on=['index']).drop('index')

df2将包含您希望添加到主df中的列。

将List元素作为列添加到现有pyspark数据框

2 个答案: