将Array <string>转换为Array <array> pyspark

时间:2019-07-15 15:37:21

标签: pyspark apache-spark-sql

我从DataFrame中选择了一个列:

Activity

我想对这些列进行一些转换,我使用了from pyspark.sql import functions as F lists_to_concat = ['echelon_from', 'section_from', 'echelon_to', 'section_to'] ,但由于我的列的类型为flatten functionArray<string>,因此在我的情况下不受支持。

下面是我的转换代码:

flatten required Array<array>

如何更改展平函数支持的for c in lists_to_concat: df = df.withColumn(c, F.flatten(c)) 的类型? 谢谢

0 个答案:

没有答案