Question

我正在使用Spark群集2.0，我想将矢量从org.apache.spark.mllib.linalg.VectorUDT转换为org.apache.spark.ml.linalg.VectorUDT。

# Import LinearRegression class
from pyspark.ml.regression import LinearRegression

# Define LinearRegression algorithm
lr = LinearRegression()

modelA = lr.fit(data, {lr.regParam:0.0})

错误：

u要求失败：列要素的类型必须为org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7，但实际上是org.apache.spark.mllib.linalg.VectorUDT@f71b0bce。'

我想如何在矢量类型之间进行这种转换。

非常感谢。

Answer 1

在PySpark中，你需要一个或map超过RDD。让我们使用第一个选项。首先是几个进口商品：

from pyspark.ml.linalg import VectorUDT
from pyspark.sql.functions import udf

和一个功能：

as_ml = udf(lambda v: v.asML() if v is not None else None, VectorUDT())

使用示例数据：

from pyspark.mllib.linalg import Vectors as MLLibVectors

df = sc.parallelize([
    (MLLibVectors.sparse(4, [0, 2], [1, -1]), ),
    (MLLibVectors.dense([1, 2, 3, 4]), )
]).toDF(["features"])

result = df.withColumn("features", as_ml("features"))

结果是

+--------------------+
|            features|
+--------------------+
|(4,[0,2],[1.0,-1.0])|
|   [1.0,2.0,3.0,4.0]|
+--------------------+

如何转换org.apache.spark.mllib.linalg.VectorUDT至ml.linalg.VectorUDT

1 个答案: