Question

我试图拟合并转换一些数据以供以后在模型中使用到分类器中，但是它总是给我一个错误，我不明白为什么。拜托，有人可以帮我吗？

##stores the function Pipeline with parameters decided above    
inputPipe = getPreProcPipe(normIn=normIn, pca=pca, pcaN=pcaN, whiten=whiten)
print inputPipe
print

#print devData[classTrainFeatures].values.astype('float32')

print devData[classTrainFeatures].shape
print type(devData[classTrainFeatures].values)

##fit pipeline to inputs features and types
inputPipe.fit(devData[classTrainFeatures].values.astype('float32'))

##transform inputs X
X_class = inputPipe.transform(devData[classTrainFeatures].values.astype(double))
## Output Y, i.e, 0 or 1 as it is the target
Y_class = devData['gen_target'].values.astype('int')
#print Y_class

输出：

Pipeline(memory=None,
 steps=[('pca', PCA(copy=True, iterated_power='auto', n_components=None, random_state=None,
svd_solver='auto', tol=0.0, whiten=False)), ('normPCA', StandardScaler(copy=True, with_mean=True, with_std=True))])

(32583, 2)
<type 'numpy.ndarray'>

代码末尾的错误：

ValueError: Input contains NaN, infinity or a value too large for dtype('float32').

Code

Error part 1

Error part 2

Answer 1

您必须检查所使用的数据（不是代码）是否包含NaN（不是数字值），在numpy中，为此{{3}有函数.isnan()（https://docs.scipy.org/doc/numpy/reference/generated/numpy.isnan.html） }}

还要使用.isinf()

检查无穷大值

此kaggle内核中的示例代码是在数据集中填充NaN和Infs的示例代码，这些数据随后用于分类器 How to get the indices list of all NaN value in numpy array? 中，interpolate()也请参见https://www.kaggle.com/mknorps/titanic-with-decision-trees < / p>

删除包含NaN和Infs的行是通过

indx = devData[classTrainFeatures].index[devData[classTrainFeatures].apply(np.isnan)]
devData=devData.drop(devData.index[indx]).copy()
devData=devData.reset_index(drop=True)

（获取NaN的索引，使用该索引删除包含NaN的所有行，重置数据帧的索引

Answer 2

我看到这种错误的3种可能性：

您的数据中可能包含Infs。在这种情况下，您可能需要删除这些样本。要查找Infs，请尝试。 df.index[np.isinf(df).any(1)]
您的数据中可能包含NaN。使用df.index[np.isnan(df).any(1)]进行检查。在这种情况下，您可以用进行df.fillna(df.mean()).dropna(axis=1, how='all')的列的平均值替换NaN。
最后但最有可能的是，您拥有一个恒定或几乎恒定的特征，一旦对其进行归一化并除以标准偏差，便会得到NaNs或Infs。在这种情况下，您应该使用VarianceThreshold

Python SKLearn适合值错误输入

2 个答案: