神经网络中的术语:softmax激活函数中的退火温度参数是什么?

时间:2019-05-28 13:08:09

标签: python neural-network artificial-intelligence softmax

我正在阅读this paper上有关使用神经网络方法进行声音分离的信息。它使用术语“在softmax激活函数中对温度参数进行退火”。什么意思?

1 个答案:

答案 0 :(得分:0)

从这个意义上讲,“退火”类似于降低温度的化学过程。
这里,softmax中的“温度”一词也减少了,将其从“软”的S型函数逐渐更改为“尖锐的” argmax
尝试在不同温度下为自己绘制softmax函数,您会发现差异...