我从DataFrame中选择了一个列:
Activity
我想对这些列进行一些转换,我使用了from pyspark.sql import functions as F
lists_to_concat = ['echelon_from', 'section_from', 'echelon_to', 'section_to']
,但由于我的列的类型为flatten function
和Array<string>
,因此在我的情况下不受支持。
下面是我的转换代码:
flatten required Array<array>
如何更改展平函数支持的for c in lists_to_concat:
df = df.withColumn(c, F.flatten(c))
的类型?
谢谢