Softmax具有大量课程？

Question

使用具有大量类（例如10k）的softmax是否存在任何概念上的问题或数值稳定性问题？

Answer 1

Softmax本身不会发生任何问题。但是，由于网络L2范数错误，将存在一个问题，如果您确实有一个10k的类别可进行分类，那么权重上的较小数字分数将导致最新图层输出的巨大差异。