Question

我正在尝试在mnist dataset上实现knearest邻居分类器。
我试图通过与Scipy KNeighborsClassifier

进行比较来检查结果

为了进行验证，我使用训练集中的前6个样本，并找到训练集中第一个样本的6个最近邻居。
我计算出的距离与KNeighborsClassifier库提供的距离不匹配。
我无法弄清楚为什么我的价值观与众不同。

我已经参考this question来获取欧几里得距离。

我的代码：

from mlxtend.data import loadlocal_mnist
import numpy as np
from scipy.spatial import distance

train, train_label = loadlocal_mnist(
        images_path='train-images.idx3-ubyte', 
        labels_path='train-labels.idx1-ubyte')
train_label = train_label.reshape(-1, 1)

train = train[:6, :]
train_label = train_label[:6, :]
# print(train_label)

test = train.copy()
test_label = train_label.copy()

test = test[:1, :]
test_label = test_label[:1, :]

for test_idx, test_row in enumerate(test):
    for train_idx, train_row in enumerate(train):
        d1 = np.linalg.norm(train_row - test_row)
        d2 = distance.euclidean(train_row, test_row)
        d3 = (((train_row - test_row)**2).sum())**0.5
        d4 = np.dot(train_row - test_row, train_row - test_row)**0.5
        print(train_idx, d1, d2, d3, d4)

测试集只是火车集的第一行

上面的输出是：

0 0.0 0.0 0.0 0.0
1 2618.6771469579826 2618.6771469579826 140.3923074815711 15.937377450509228
2 2372.0210791643485 2372.0210791643485 134.29817571359635 10.770329614269007
3 2139.966354875702 2139.966354875702 122.37646832622684 11.313708498984761
4 2485.1432554281455 2485.1432554281455 135.5322839769182 13.892443989449804
5 2582.292392429641 2582.292392429641 144.69968901141425 14.212670403551895

这是我与之比较的KNeighborsClassifier代码：

neigh = KNeighborsClassifier(n_neighbors=6)
neigh.fit(train, train_label)
closest = neigh.kneighbors(test[0].reshape(1, -1))
print(closest)

输出：

(array([[   0.        , 2387.11164381, 2554.81975881, 2582.29239243,
        2672.46721215, 2773.14911247]]), array([[0, 1, 3, 5, 4, 2]], dtype=int64))

我正在尝试计算数据点之间的欧几里得距离，以找到最近的邻居。 d1, d2, d3, d4是我从上面链接的问题中发现的4种不同方法，其输出是它们的特定值。
但是我从KNeighborsClassifier获得的距离值与所有这些都不同，它们也使用了文档中给出的欧几里德距离。为什么会这样？

Answer 1

好的，这是一个提示（目前没有时间进一步看它，它可能会有所帮助）：

在计算距离的第一种方式中（肯定是在对初始数据进行切片的方式中）肯定存在一些错误；要看到这一点，让我们将循环修改为：

for test_idx, test_row in enumerate(test):
    for train_idx, train_row in enumerate(train):
        d1 = np.linalg.norm(train_row - test_row)
        d2 = np.linalg.norm(test_row - train_row)
        d3 = distance.euclidean(train_row, test_row)
        d4 = distance.euclidean(test_row, train_row)
        print(train_idx, d1, d2, d3, d4)

在这里，显然我们应该有d1 = d2 = d3 = d4；但结果是：

0 0.0 0.0 0.0 0.0
1 2618.6771469579826 2213.268623552053 2618.6771469579826 2213.268623552053
2 2372.0210791643485 2547.0901044132693 2372.0210791643485 2547.0901044132693
3 2139.966354875702 2374.7201940439213 2139.966354875702 2374.7201940439213
4 2485.1432554281455 2467.6727903026367 2485.1432554281455 2467.6727903026367
5 2582.292392429641 2449.1912951013032 2582.292392429641 2449.1912951013032

即是d1 = d3和d2 = d4，但是这两个数量彼此不同；这肯定不会发生，因为距离是一个对称函数，参数的顺序不起作用：

a = np.array((1, 2, 3))
b = np.array((4, 5, 6))
distance.euclidean(a, b)
# 5.196152422706632
distance.euclidean(b, a)
# 5.196152422706632
np.linalg.norm(a-b)
# 5.196152422706632
np.linalg.norm(b-a)
# 5.196152422706632

值得深思的食物-希望对您有帮助...

Answer 2

我不确定是什么原因造成的，但是将数据从np.array转换为列表，然后再转换回np.array显然解决了该问题。

train = np.array(train.tolist())
test = np.array(test.tolist())

感谢@desertnaut给出了问题可能在于数据切片的想法，但我仍然不能确定问题的原因是什么。

KneighborsClassifier给出与linalg.norm和scipy.spatial.distance.euclidean不同的欧几里得值

2 个答案: