标签: machine-learning neural-network convex-optimization
我们知道在神经网络中是否需要全局最小值,我们需要损失函数是凸的,所以有论文证明并讨论这一点吗?
答案 0 :(得分:1)
不仅对于神经网络,对于任何学习任务,凸损失函数都可以确保存在唯一的最小值。对于大多数常见的损失函数,使用凸度的数学定义之一证明它们的凸度相当简单。 例如,这些来自马里兰大学的幻灯片解决了所有这些问题,并提出了凸损失函数及其曲线:http://users.umiacs.umd.edu/~abhishek/cmsc726slides.pdf