如何在pyspark中将字符串值转换为arrayType

Question

我在pyspark dataframe中有一个类似下面的列，类型是String：

现在我想将它们转换为ArrayType[Long]，我该怎么做？

Answer 1

您必须解析为字符串并使用split函数创建数组

df.withColumn('cat_list',split(regexp_replace(col('cat_list'), '\[|\]',''),',').cast('array<float>').cast('array<long>'))