将列连接到Apache Spark DataFrame中的列列表

Question

spark-sql中是否有一种方法可以在数据框中添加新列，例如：

• 新列包含字符串数组
• 每个字符串是另一列的值

基本上，这与concat函数是相同的，不同之处在于串联返回的是字符串列表，而不是由标识符分隔的大字符串。

NB：我正在使用python API

Answer 1

您可以使用内置的df .withColumn("col_arr",array(df.columns.map(c => col(c)):_*)) 函数。在scala中，它看起来像：

{{1}}