为什么线性模型适用于图像分类？

Question

我正在大量研究机器学习的所有数学基础。我很清楚它在数学上是有效的，但有一件事是我无法得到的。

我的问题很简单：

为什么线性模型在训练图像到角色（例如，使用非MNIST数据集作为训练源）分类模型时有效？据我所知，使用线性模型，我们说输出是输入+偏置参数的线性函数。但我已经知道线性模型不适用于其他类型的应用程序。

那么，为什么它适用于此而不适用于其他人？

Answer 1

模型复杂性因所解决的问题而异。 MNIST是一个非常简单的情况，发生易受线性组合的影响，因为两个输入（灰度面对面数字）和输出（10位数之一）的范围很窄固有的差异。例如，4和9具有不同的连接性，线性组合可以辨别的属性。给定足够的节点，MNIST模型可以训练到上部90s，几乎没有问题。

考虑ILSVRC图像集，其中歧视取决于颜色，姿势，主题部分的相对比例（例如猎狼犬与狮子狗）以及其他小和大的特征。这些需要缩放，概括，对干扰对象（例如前景中的灌木丛）和其他属性的适应性。一个足够大的线性网络可能会很好地区分十个类，但不会对1000进行精细区分。

我刚刚发现这个blog有助于强调MNIST的一些复杂性及其简化。