Question

作为一项任务，我必须创建自己的kNN分类器，而不使用for循环。我设法使用scipy.spatial.KDTree查找测试集中每个向量的最近邻居，然后使用scipy.stats.mode返回预测类的列表。但是，当集合的大小非常大时，这需要非常长的时间。例如，我创建了以下由this page

启发的示例

import numpy as np
from sklearn.model_selection import train_test_split
from scipy import spatial
from scipy.stats import mode

def predict(X_test):
    X = Y_train[tree.query(X_test, k=k)[1]]
    Y = mode(X, axis=-1)[0].T[0]
    return Y

def load_data():
    x1 = 1.5 * np.random.randn(100) + 1
    y1 = 1.5 * np.random.randn(100) + 2
    x2 = 1.5 * np.random.randn(100) + 3
    y2 = 1.5 * np.random.randn(100) + 4
    X  = np.vstack((np.hstack((x1,x2)),np.hstack((y1,y2)))).T
    y  = 1.0*np.hstack((np.zeros(100), np.ones(100)))
    return X, y

if __name__ == '__main__':
    X, y = load_data()
    X_train, X_test, Y_train, Y_test = train_test_split(X, y)

    k = 7
    Z = predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)

由于X = Y_train[tree.query(X_test, k=k)[1]]部分，这需要很长时间（40-60秒！）。有什么方法可以提高这个特定实现的速度，还是我应该想到另一种方法呢？例如，sklearn的实现只需要0.4秒，与我的实现相比，这是非常快的。

Answer 1

不得不多次阅读您的代码，但之后我看到您正在使用KDTree而不是cKDTree。后者是在Cython中实现的（而不是普通的python和numpy），应该会给你一个不错的加速。

提高kNN分类器的性能（速度）

1 个答案: