将数组传递给Python Spark Lit函数

Question

让我们说我有一个包含数字1-10的numpy数组。所以a是[1 2 3 4 5 6 7 8 9 10]。

现在，我还有一个Python Spark数据帧，我想要添加我的numpy数组a。我认为一列文字将完成这项工作。所以我做了以下几点：

df = df.withColumn("NewColumn", F.lit(a))

这不起作用。错误是＆＃34;不支持的文字类型类java.util.ArrayList＆＃34;。

现在，如果我只尝试一个数组元素，如下所示，它就可以了。

df = df.withColumn("NewColumn", F.lit(a[0]))

有没有办法可以做我想做的事情？我已经做了几天我想完成的任务，这是我最接近完成它的任务。我查看了所有相关的Stack Overflow问题，但我没有得到我想要的答案。任何帮助表示赞赏。感谢。

Answer 1

用于数组内置函数的循环

您可以使用array 内置功能作为

a = [1,2,3,4,5,6,7,8,9,10]
df = spark.createDataFrame([['a b c d e f g h i j '],], ['col1'])
df = df.withColumn("NewColumn", F.array([F.lit(x) for x in a]))
df.show(truncate=False)

你应该

+--------------------+-------------------------------+
|col1                |NewColumn                      |
+--------------------+-------------------------------+
|a b c d e f g h i j |[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]|
+--------------------+-------------------------------+
root
 |-- col1: string (nullable = true)
 |-- NewColumn: array (nullable = false)
 |    |-- element: integer (containsNull = false)

使用udf函数

#udf function
def arrayUdf():
    return a
callArrayUdf = F.udf(arrayUdf, T.ArrayType(T.IntegerType()))

#calling udf function
df = df.withColumn("NewColumn", callArrayUdf())

输出与for循环方式相同

<强>更新

我正在粘贴@ pault在下面给出的评论

  

    

您可以使用map隐藏循环：df.withColumn("NewColumn", F.array(map(F.lit, a)))

  

Answer 2

在scala API中，我们可以使用“ typedLit”函数在列中添加Array或映射值。

//参考：https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$

这是将Array或Map添加为列值的示例代码。

import org.apache.spark.sql.functions.typedLit

val df1 = Seq((1, 0), (2, 3)).toDF("a", "b")

df1.withColumn("seq", typedLit(Seq(1,2,3)))
    .withColumn("map", typedLit(Map(1 -> 2)))
    .show(truncate=false)

//输出

+---+---+---------+--------+
|a  |b  |seq      |map     |
+---+---+---------+--------+
|1  |0  |[1, 2, 3]|[1 -> 2]|
|2  |3  |[1, 2, 3]|[1 -> 2]|
+---+---+---------+--------+

我希望这会有所帮助。