Question

我想在pyspark（spark 2.1.1）中运行此代码：

from pyspark.ml.feature import PCA

bankPCA = PCA(k=3, inputCol="features", outputCol="pcaFeatures") 
pcaModel = bankPCA.fit(bankDf)    
pcaResult = pcaModel.transform(bankDF).select("label", "pcaFeatures")    
pcaResult.show(truncate= false)

但是我收到了这个错误：

要求失败：列要素必须是类型 org.apache.spark.ml.linalg.Vect orUDT@3bfc3ba7但实际上是 org.apache.spark.mllib.linalg.VectorUDT@f71b0bce。

Answer 1

您可以找到here：

的示例

from pyspark.ml.feature import PCA
from pyspark.ml.linalg import Vectors

data = [(Vectors.sparse(5, [(1, 1.0), (3, 7.0)]),),
    (Vectors.dense([2.0, 0.0, 3.0, 4.0, 5.0]),),
    (Vectors.dense([4.0, 0.0, 0.0, 6.0, 7.0]),)]
df = spark.createDataFrame(data, ["features"])

pca = PCA(k=3, inputCol="features", outputCol="pcaFeatures")
model = pca.fit(df)

... other code ...

如上所示， df 是一个数据框，其中包含从pyspark.ml.linalg 导入的Vectors.sparse（）和Vectors.dense（）。

您的 bankDf 可能包含从pyspark.mllib.linalg 导入的向量。

因此，您必须设置导入数据帧中的向量

from pyspark.ml.linalg import Vectors

而不是：

from pyspark.mllib.linalg import Vectors

也许你可以找到有趣的stackoverflow question。

列要素必须是org.apache.spark.ml.linalg.VectorUDT类型

1 个答案: