我目前正在调查softmax函数,我想调整ome小测试的orignally实现。
我去过文档但是关于这个函数没有那么多有用的信息。这是pytorch python implementation:
def __init__(self, dim=None):
super(Softmax, self).__init__()
self.dim = dim
def __setstate__(self, state):
self.__dict__.update(state)
if not hasattr(self, 'dim'):
self.dim = None
def forward(self, input):
return F.softmax(input, self.dim, _stacklevel=5)
我在哪里可以找到F.softmax强制执行?
我想尝试的一件事就是这里描述的软边缘softmax:Soft-Margin Softmax for Deep Classification
哪里是最好的起点? 提前谢谢!
答案 0 :(得分:1)
Softmax 函数定义如下:
上面公式的直接实现如下:
def softmax(x):
return np.exp(x) / np.exp(x).sum(axis=0)
由于np.exp(x)
,上述实现可能会遇到算术溢出。
为了避免溢出,我们可以用常数C
除以softmax方程中的分子和分母。那么softmax函数变成如下:
上述方法在 PyTorch 中实现,我们将 log(C)
视为 -max(x)
。下面是 PyTorch 的实现:
def softmax_torch(x): # Assuming x has atleast 2 dimensions
maxes = torch.max(x, 1, keepdim=True)[0]
x_exp = torch.exp(x-maxes)
x_exp_sum = torch.sum(x_exp, 1, keepdim=True)
probs = x_exp/x_exp_sum
return probs
对应的 Numpy 等价物如下:
def softmax_np(x):
maxes = np.max(x, axis=1, keepdims=True)[0]
x_exp = np.exp(x-maxes)
x_exp_sum = np.sum(x_exp, 1, keepdims=True)
probs = x_exp/x_exp_sum
return probs
我们可以将结果与 PyTorch 实现 - torch.nn.functional.softmax
使用以下代码段进行比较:
import torch
import numpy as np
if __name__ == "__main__":
x = torch.randn(1, 3, 5, 10)
std_pytorch_softmax = torch.nn.functional.softmax(x)
pytorch_impl = softmax_torch(x)
numpy_impl = softmax_np(x.detach().cpu().numpy())
print("Shapes: x --> {}, std --> {}, pytorch impl --> {}, numpy impl --> {}".format(x.shape, std_pytorch_softmax.shape, pytorch_impl.shape, numpy_impl.shape))
print("Std and torch implementation are same?", torch.allclose(std_pytorch_softmax, pytorch_impl))
print("Std and numpy implementation are same?", torch.allclose(std_pytorch_softmax, torch.from_numpy(numpy_impl)))
参考: