Question

我正在尝试用两个输出值解决回归问题。输出值充当传入预订值的两个不同阈值，以接受或拒绝预订。

在业务案例中手动设置了两个输出值，但是这应在机器学习的帮助下自动完成。在业务案例中，输出值之一可以是Nan，然后所有预订都将接受此条件。因此，如果未填充一个输出值，则该值对业务案例有效。

示例：

X_train = np.array([(1,1),(2,2),(3,3),(4,4)])
Y_train =np.array([(1,1),(2,2),(3,3),(4,np.nan)])
X_test = np.array([(5,5),(6,6),(7,7)])
Y_test = np.array([(5,5),(6,np.nan),(7,7)])

reg  = MLPRegressor()
reg = reg.fit(X_train,Y_train)

我的问题是，例如，当我为输出Y_train / Y_test设置NaN值时，例如scikit-learn会引发错误。

ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

我不想用平均值或0来估算这些值，因为如上所述，缺失值是业务案例的有效设置。

是否可以通过scikit-learn或一般的机器学习解决此类问题？

编辑：未由业务部门设置的输出值不直接存储为NaN，而是存储为-9999999999（用于无穷大）。我用NaN替换了这些值，因为我认为这么高的值会扭曲结果。因此，如果我不替换任何内容，这些变量实际上将导致以下结果：

X_train = np.array([(1,1),(2,2),(3,3),(4,4)])
Y_train =np.array([(1,1),(2,2),(3,3),(4,-9999999999)])
X_test = np.array([(5,5),(6,6),(7,7)])
Y_test = np.array([(5,5),(6,-9999999999),(7,7)])

与NaN相比，保留这些值是否更好？或者它们会使结果失真，因此必须省略？

Answer 1

训练数据的全部重点是监督模型，教其预测具有一组功能的输出。因此，将nan值作为训练X，y的一部分是没有意义的。一个模型不会“填补空白”并仍然学习。 T

标准方法是使用缺失值技术，例如-通过均值/ 0进行插补，通过检测包含缺失数据的样本的最近邻点，使用KNN替换值，对连续数据（线性，无叉，二次方，样条插补）进行插补技术等等）或可以处理丢失数据的编码方法。

如果您不想使用缺失值处理策略，则不应将行保留为训练数据集的一部分。

是否可以通过scikit-learn或一般的机器学习解决此类问题？

是的，正如我提到的，解决这一问题有整个研究领域（KNN是处理此问题的最流行且可访问的机器学习方法）。 article可能会帮助您更多。

编辑（基于OP的修改）

用Nan替换99999999值是正确的方法，因为我们不知道为什么企业将它们设置为该值。他们最有可能丢失的数据是垃圾值，原因是它们能够将数据存储在数据库中而不会出现太多问题。其次，将它们视为Nan值而不是离群值是比较明智的。因此，出于监督训练的目的，我建议删除具有这些值的行。

另一件事是，我注意到这些值是Y训练和Y测试的一部分。如果Nans仅在Y数据中，这将使事情变得容易，因为您可以简单地将这些行保留为数据的一部分以进行预测。在非Nan数据上训练模型，并使用该模型预测行的Y值来替换Nan值。

但是，如果您认为这些是极端值，应该将其视为离群值，则您仍必须将其从模型训练中删除，因为它们会使模型结果变得疯狂。

最后，如果这是分类练习（而不是回归分析），那么您实际上可以将999999视为一个单独的类别，并像其他任何类别一样对其进行预测。这不适用于回归，因为回归999999是要进行预测的连续量表的一部分。

Answer 2

即使您的模型可以在输出时生成NaN，也无法确定是错误还是实际估计。我不会在训练集中使用NaN。

不仅因为NaN不能用任何数值数据类型表示，而且还因为无法对NaN执行算术：这意味着您无法计算出其梯度，也无法计算出线或斜率与之相交。简而言之，您的模型不能以数值形式学习，因为它不是数字。

Answer 3

也许将您的问题分解为两个任务是可以接受的解决方案。一种用于回归和分类是否提供数据的方法。

X_train = np.array([(1,1),(2,2),(3,3),(4,4)])
Y1_train = np.array([(1,1),(2,2),(3,3),(4,4)])
Y2_train = np.array([(1,1),(1,1),(1,1),(1,0)])

X_test = np.array([(5,5),(6,6),(7,7)])
Y1_test = np.array([(5,5),(6,6),(7,7)])
Y2_test = np.array([(1,1),(1,0),(1,1)])

对于回归，与对X_train和Y1_train进行的操作相同。

分类部分的示例代码

from sklearn.neural_network import MLPClassifier
clf = MLPClassifier()
clf.fit(X_train, Y2_train)

是否可以通过机器学习来学习和预测NaN值？

3 个答案: