Question

我遇到了以下错误：

AssertionError：尺寸不匹配

我使用PySpark的LinearRegressionWithSGD训练了一个线性回归模型。然而，当我尝试对训练集进行预测时，我会发现尺寸不匹配＆＃34;错误。

值得一提：

使用StandardScaler缩放数据，但预测值不是。
从代码中可以看出，用于培训的功能是由PCA生成的。

一些代码：

pca_transformed = pca_model.transform(data_std)
X = pca_transformed.map(lambda x: (x[0], x[1]))
data = train_votes.zip(pca_transformed)
labeled_data = data.map(lambda x : LabeledPoint(x[0], x[1:]))
linear_regression_model = LinearRegressionWithSGD.train(labeled_data, iterations=10)

预测是错误的来源，这些是我尝试过的变种：

pred = linear_regression_model.predict(pca_transformed.collect())
pred = linear_regression_model.predict([pca_transformed.collect()])    
pred = linear_regression_model.predict(X.collect())
pred = linear_regression_model.predict([X.collect()])

回归权重：

DenseVector([1.8509, 81435.7615])

使用的载体：

pca_transformed.take(1)
[DenseVector([-0.1745, -1.8936])]

X.take(1)
[(-0.17449817243564397, -1.8935926689554488)]

labeled_data.take(1)
[LabeledPoint(22221.0, [-0.174498172436,-1.89359266896])]

Answer 1

这有效：

pred = linear_regression_model.predict(pca_transformed)

pca_transformed的类型为RDD。

function处理RDD和数组的方式不同：

def predict(self, x):
    """
    Predict the value of the dependent variable given a vector or
    an RDD of vectors containing values for the independent variables.
    """
    if isinstance(x, RDD):
        return x.map(self.predict)
    x = _convert_to_vector(x)
    return self.weights.dot(x) + self.intercept

使用简单数组时，可能存在维度不匹配问题（如上述问题中的错误）。

可以看出，如果x不是RDD，它将被转换为向量。除非你采用x [0]，否则点积不会起作用。

以下是错误转载：

j = _convert_to_vector(pca_transformed.take(1))
linear_regression_model.weights.dot(j) + linear_regression_model.intercept

这很好用：

j = _convert_to_vector(pca_transformed.take(1))
linear_regression_model.weights.dot(j[0]) + linear_regression_model.intercept

PySpark LinearRegressionWithSGD，模型预测尺寸不匹配

1 个答案: