Question

我有一个Spark数据框，如下所示：

+-----------+-------------------+
|     ID    |     features      |
+-----------+-------------------+
|   18156431|(5,[0,1,4],[1,1,1])|
|   20260831|(5,[0,4,5],[2,1,1])|   
|   91859831|(5,[0,1],[1,3])    |
|  206186631|(5,[3,4,5],[1,5])  |
|  223134831|(5,[2,3,5],[1,1,1])|
+-----------+-------------------+

在此数据框中，features列是稀疏向量。在我的脚本中，我必须将此DF保存为磁盘上的文件。执行此操作时，功能列将另存为文本列：示例"(5,[0,1,4],[1,1,1])"。在Spark中再次导入时，列保持字符串，如您所料。如何将列转换回（稀疏）矢量格式？

Answer 1

由于UDF开销而不是特别有效（使用保留类型的格式是个好主意），但你可以这样做：

from pyspark.mllib.linalg import Vectors, VectorUDT
from pyspark.sql.functions import udf

df = sc.parallelize([
    (18156431, "(5,[0,1,4],[1,1,1])") 
]).toDF(["id", "features"])

parse = udf(lambda s: Vectors.parse(s), VectorUDT())
df.select(parse("features"))

请注意，这并非直接移植到2.0.0+和ML Vector。由于ML向量不提供parse方法，因此您必须解析为MLLib并使用asML：

parse = udf(lambda s: Vectors.parse(s).asML(), VectorUDT())

将字符串列转换为向量列Spark DataFrames

1 个答案: