将列表添加为pyspark中的Dataframe列

Question

我有一个整数列表和一个sqlcontext数据帧，其行数等于列表的长度。我想将列表作为列添加到此数据框中以维护订单。我觉得这应该很简单，但我找不到一个优雅的解决方案。

Answer 1

您不能简单地将列表添加为数据框列，因为列表是本地对象，而数据框已经过分配。您可以尝试以下几种方法之一：

• 按collect()或toLocalIterator()将数据框转换为本地，并为每行添加列表中的相应值或
• 将列表转换为数据帧，添加一个额外的列（使用来自dataframe的键），然后将它们连接起来