如何在附加数据上训练（k-NN）模型（为了绘制学习曲线）

Question

我正在玩MNIST database，我想为各种学习算法绘制学习曲线。为了这个问题，让我们考虑k-NN算法。

我使用mnist包导入数据，然后将其转换为numpy.ndarray个对象。

import numpy as np
import matplotlib.pyplot as plt
from mnist import MNIST
mndata = MNIST('./data')

images_train, labels_train = mndata.load_training()
images_test, labels_test = mndata.load_testing()

labels_train = labels_train.tolist()
labels_test = labels_test.tolist()

X_train = np.array(images_train)
y_train = np.array(labels_train)
X_test = np.array(images_test)
y_test = np.array(labels_test)

但是，它在训练集中包含60,000个示例，因此对我的计算机来说太多了。我想绘制学习曲线，以确定进一步的训练是否有意义。

import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier

start_time = time.time()

training_range = range(500, 1500, 100)
test_size = 1000

training_accuracy = []
test_accuracy = []

for train_size in training_range:
    X_train_small = X_train[:train_size]
    y_train_small = y_train[:train_size]
    X_test_small = X_test[:test_size]
    y_test_small = y_test[:test_size]

    clf = KNeighborsClassifier(n_neighbors=3)
    clf.fit(X_train_small, y_train_small)
    training_accuracy.append(clf.score(X_train_small, y_train_small))
    test_accuracy.append(clf.score(X_test_small, y_test_small))

plt.plot(training_range, training_accuracy, label="training accuracy")
plt.plot(training_range, test_accuracy, label="test accuracy")
plt.ylabel("Accuracy")
plt.xlabel("Training size")
plt.title("Learning curve")
plt.legend()
plt.show()

输出：

绘制这个简单的图表需要花费一分多钟时间，最好只显示1500个元素的训练精度。

主要问题是程序多次运行clf.fit(X_train_small, y_train_small)并且每次都从头开始重新计算所有内容。

  

问题。有没有办法保存已经学过的数据，只是培训＆＃34;培训＆＃34;在新的？

我猜对于任意算法，答案是否定的，但k-NN的工作方式原则上应该是可能的（这只是我的观点）。

Answer 1

正如Vivek Kumar所说，只有能够调用partial_fit()方法的算法才能做到你想要的，例如linear_model.Perceptron，linear_model.SGDClassifier等。

为什么KNN不适合？因为当你想到KNN时，它在训练阶段没有任何努力，它是一个懒惰算法。所有的努力都花在测试阶段。它需要完整的数据集来决定。由于需要完整的训练集才能决定，一次一个训练数据是没有意义的。