Question

对不起，如果问题的标题不清楚，我无法在一行中总结问题。

以下是解释的简化数据集。基本上，训练集中的类别数远远大于测试集中的类别，因此在OneHotEncoding之后测试和训练集中的列数存在差异。我该如何处理这个问题？

培训套装

+-------+----------+
| Value | Category |
+-------+----------+
| 100   | SE1      |
+-------+----------+
| 200   | SE2      |
+-------+----------+
| 300   | SE3      |
+-------+----------+

OneHotEncoding后的培训设置

+-------+-----------+-----------+-----------+
| Value | DummyCat1 | DummyCat2 | DummyCat3 |
+-------+-----------+-----------+-----------+
| 100   | 1         | 0         | 0         |
+-------+-----------+-----------+-----------+
| 200   | 0         | 1         | 0         |
+-------+-----------+-----------+-----------+
| 300   | 0         | 0         | 1         |
+-------+-----------+-----------+-----------+

测试集

+-------+----------+
| Value | Category |
+-------+----------+
| 100   | SE1      |
+-------+----------+
| 200   | SE1      |
+-------+----------+
| 300   | SE2      |
+-------+----------+

OneHotEncoding后的测试集

+-------+-----------+-----------+
| Value | DummyCat1 | DummyCat2 |
+-------+-----------+-----------+
| 100   | 1         | 0         |
+-------+-----------+-----------+
| 200   | 1         | 0         |
+-------+-----------+-----------+
| 300   | 0         | 1         |
+-------+-----------+-----------+

您可以注意到，OneHotEncoding之后的训练集的形状为(3,4)，而OneHotEncoding之后的测试集的形状为(3,3)。因此，当我执行以下代码时（y_train是形状(3,)的列向量）

from sklearn.linear_model import LinearRegression
regressor = LinearRegression()
regressor.fit(x_train, y_train)

x_pred = regressor.predict(x_test)

我在预测函数中得到了错误。如您所见，与基本示例不同，错误中的维度非常大。

  Traceback (most recent call last):

  File "<ipython-input-2-5bac76b24742>", line 30, in <module>
    x_pred = regressor.predict(x_test)

  File "/Users/parthapratimneog/anaconda3/lib/python3.6/site-packages/sklearn/linear_model/base.py", line 256, in predict
    return self._decision_function(X)

  File "/Users/parthapratimneog/anaconda3/lib/python3.6/site-packages/sklearn/linear_model/base.py", line 241, in _decision_function
    dense_output=True) + self.intercept_

  File "/Users/parthapratimneog/anaconda3/lib/python3.6/site-packages/sklearn/utils/extmath.py", line 140, in safe_sparse_dot
    return np.dot(a, b)

ValueError: shapes (4801,2236) and (4033,) not aligned: 2236 (dim 1) != 4033 (dim 0)

Answer 1

您必须以与转换x_train相同的方式转换DashboardComponent。

x_test

确保在x_train上使用与x_test = onehotencoder.transform(x_test) x_pred = regressor.predict(x_test)相同的onehotencoder对象。

我假设您当前正在测试数据上使用fit_transform（）。执行fit()或fit()会忘记以前学过的数据并重新安装oneHotEncoder。现在它会认为列中只存在两个不同的值，因此会改变输出的形状。

如何在预测时从测试数据进行一次编码后处理类别不匹配？

1 个答案: