Question

我正在使用质心位置上的梯度下降而不是期望最大化来在火炬中构建Kmeans。损耗是每个点与其最近的质心的平方距离之和。为了确定哪个质心最接近每个点，我使用了argmin，它在任何地方都无法区分。但是，pytorch仍然可以反向传播和更新权重（质心位置），从而在数据上提供与sklearn kmeans相似的性能。

任何想法这是如何工作的，或者我如何能在pytorch中弄清楚呢？在pytorch github上的讨论表明argmax是不可区分的：https://github.com/pytorch/pytorch/issues/1339。

下面的示例代码（随机点）：

import numpy as np
import torch

num_pts, batch_size, n_dims, num_clusters, lr = 1000, 100, 200, 20, 1e-5

# generate random points
vector = torch.from_numpy(np.random.rand(num_pts, n_dims)).float()

# randomly pick starting centroids
idx = np.random.choice(num_pts, size=num_clusters)
kmean_centroids = vector[idx][:,None,:] # [num_clusters,1,n_dims]
kmean_centroids = torch.tensor(kmean_centroids, requires_grad=True)

for t in range(4001):
    # get batch
    idx = np.random.choice(num_pts, size=batch_size)
    vector_batch = vector[idx]

    distances = vector_batch - kmean_centroids # [num_clusters, #pts, #dims]
    distances = torch.sum(distances**2, dim=2) # [num_clusters, #pts]

    # argmin
    membership = torch.min(distances, 0)[1] # [#pts]

    # cluster distances
    cluster_loss = 0
    for i in range(num_clusters):
        subset = torch.transpose(distances,0,1)[membership==i]
        if len(subset)!=0: # to prevent NaN
            cluster_loss += torch.sum(subset[:,i])

    cluster_loss.backward()
    print(cluster_loss.item())

    with torch.no_grad():
        kmean_centroids -= lr * kmean_centroids.grad
        kmean_centroids.grad.zero_()

Answer 1

正如评论中提到的alvas一样，argmax是不可区分的。但是，一旦将其计算出来并将每个数据点分配给一个群集，就可以很好地定义相对于这些群集位置的损耗导数。这就是您的算法所做的。

为什么起作用？如果只有一个群集（因此argmax操作无关紧要），则损失函数将是二次的，在数据点的平均值处最小。现在有了多个群集，您可以看到损失函数是分段的（在较大的维度上以体积为单位）是二次的-对于任何一组质心[C1, C2, C3, ...]，每个数据点都分配给某个质心CN并且损失为 local 二次。这种局部性的程度由所有[C1', C2', C3', ...]的替代质心argmax给出；在该区域内，argmax可以被视为常量，而不是函数，因此loss的导数定义明确。

现在，实际上，您不太可能将argmax视为常数，但是您仍然可以将朴素的“ argmax-is-a-constant”导数近似地指向最小值，因为大多数数据点很可能确实在迭代之间属于同一群集。并且，一旦您足够接近局部最小值，从而不再改变点的分配，该过程便可以收敛到最小值。

另一种更理论上的观察方法是，您正在对期望最大化进行近似。通常，您将具有“ argmax”所反映的“计算分配”步骤，以及“最小化”步骤，该步骤归结为在给定当前分配的情况下找到最小化聚类中心。最小值由d(loss)/d([C1, C2, ...]) == 0给出，对于二次方损失，它是通过每个群集内的数据点通过分析得出的。在您的实现中，您正在求解相同的方程式，但有一个梯度下降步骤。实际上，如果您使用二阶（Newton）更新方案而不是一阶梯度下降，则将隐式地精确再现基线EM方案。

Answer 2

想象一下：

t = torch.tensor([-0.0627,  0.1373,  0.0616, -1.7994,  0.8853, 
                  -0.0656,  1.0034,  0.6974,  -0.2919, -0.0456])
torch.argmax(t).item() # outputs 6

我们将t[0]增加一些，δ接近于0，这会更新argmax吗？不会，所以我们一直都在处理0个渐变。只需忽略此层，或假设它已冻结。

argmin或因变量以离散步长运行的任何其他函数也是如此。

pytorch如何通过argmax反向传递？

2 个答案: