我正在尝试使用Scikit学习实现网格搜索以选择KNN回归的最佳参数。 特别是我想做的事情：
parameters = [{'weights': ['uniform', 'distance'], 'n_neighbors': [5, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100]}]
clf = GridSearchCV(neighbors.KNeighborsRegressor(), parameters)
clf.fit(features, rewards)
不幸的是我得到了ValueError：数组包含NaN或无穷大。
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/grid_search.pyc in fit(self, X, y, **params)
705 " The params argument will be removed in 0.15.",
706 DeprecationWarning)
--> 707 return self._fit(X, y, ParameterGrid(self.param_grid))
708
709
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/grid_search.pyc in _fit(self, X, y, parameter_iterable)
491 X, y, base_estimator, parameters, train, test,
492 self.scorer_, self.verbose, **self.fit_params)
--> 493 for parameters in parameter_iterable
494 for train, test in cv)
495
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/externals/joblib/parallel.pyc in __call__(self, iterable)
515 try:
516 for function, args, kwargs in iterable:
--> 517 self.dispatch(function, args, kwargs)
518
519 self.retrieve()
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/externals/joblib/parallel.pyc in dispatch(self, func, args, kwargs)
310 """
311 if self._pool is None:
--> 312 job = ImmediateApply(func, args, kwargs)
313 index = len(self._jobs)
314 if not _verbosity_filter(index, self.verbose):
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/externals/joblib/parallel.pyc in __init__(self, func, args, kwargs)
134 # Don't delay the application, to avoid keeping the input
135 # arguments in memory
--> 136 self.results = func(*args, **kwargs)
137
138 def get(self):
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/grid_search.pyc in fit_grid_point(X, y, base_estimator, parameters, train, test, scorer, verbose, loss_func, **fit_params)
309 this_score = scorer(clf, X_test, y_test)
310 else:
--> 311 this_score = clf.score(X_test, y_test)
312 else:
313 clf.fit(X_train, **fit_params)
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/base.pyc in score(self, X, y)
320
321 from .metrics import r2_score
--> 322 return r2_score(y, self.predict(X))
323
324
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/metrics/metrics.pyc in r2_score(y_true, y_pred)
2181
2182 """
-> 2183 y_type, y_true, y_pred = _check_reg_targets(y_true, y_pred)
2184
2185 if len(y_true) == 1:
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/metrics/metrics.pyc in _check_reg_targets(y_true, y_pred)
59 Estimated target values.
60 """
---> 61 y_true, y_pred = check_arrays(y_true, y_pred)
62
63 if y_true.ndim == 1:
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/utils/validation.pyc in check_arrays(*arrays, **options)
231 else:
232 array = np.asarray(array, dtype=dtype)
--> 233 _assert_all_finite(array)
234
235 if copy and array is array_orig:
/Users/zikesjan/anaconda/lib/python2.7/site-packages/sklearn/utils/validation.pyc in _assert_all_finite(X)
25 if (X.dtype.char in np.typecodes['AllFloat'] and not np.isfinite(X.sum())
26 and not np.isfinite(X).all()):
---> 27 raise ValueError("Array contains NaN or infinity.")
28
29
ValueError: Array contains NaN or infinity.
基于此post我已经尝试使用以下的适合行而不是上面的行：
clf.fit(np.asarray(features).astype(float), np.asarray(rewards).astype(float))
然后基于这个post，我甚至尝试了这个：
scaler = preprocessing.StandardScaler().fit(np.asarray(features).astype(float))
transformed_features = scaler.transform(np.asarray(features).astype(float))
clf.fit(transformed_features, rewards)
但遗憾的是没有任何成功。所以我想问一下是否有人知道问题可能在哪里，以及如何使我的代码工作。
非常感谢你。
修改
我发现如果我只有以下参数，我就不会收到此错误：
parameters = [{'weights': ['uniform'], 'n_neighbors': [5, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100]}]
所以看起来问题是在权重=距离的情况下。有人知道为什么吗？
出现了另外一个与我有关的问题{我要问here。
编辑2：
如果我在调试时使用日志记录集运行我的代码，我会收到以下警告：
/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/sklearn/neighbors/regression.py:160: RuntimeWarning: invalid value encountered in divide
y_pred[:, j] = num / denom
因此明显存在除零的问题。所以我的问题是为什么scikit在regression.py中的第160行除以0？
答案 0 :(得分：0)
除了您尝试过的内容，您还可以查看是否
import numpy as np
features = np.nan_to_num(features)
rewards = np.nan_to_num(rewards)
这会将数组中的所有非数字值设置为0，并且至少应使算法运行，除非错误发生在算法内部的某处。确保数据中没有很多非数字条目，因为将它们全部设置为0可能会在估算值中产生奇怪的偏差。
如果不是这种情况，而您正在使用weights='distance'，请检查是否有任何列车样本相同。这将导致反距离除以零。
如果反距离是除零的原因，您可以使用自己的距离函数来避免这种情况，例如
def better_inv_dist(dist):
c = 1.
return 1. / (c + dist)
然后使用'weights': better_inv_dist。您可能需要将常量c调整到正确的比例。在任何情况下，只要c > 0，它就会避免被零除。
答案 1 :(得分：0)
我在scikit-learn上遇到了与KNN回归相同的问题。我正在使用权重='距离'，并且在计算预测时导致无限值（但不适合KNN模型，即学习适当的KD树或球树）。我切换到weights ='uniform'并且程序正确地运行完成，表明提供的重量函数是问题。如果你想使用基于距离的权重，请提供一个自定义权重函数，该函数在零距离处不会爆炸到无穷大，如eickenberg的答案所示。