使用深度学习技术的监督学习（文档分类）

Question

我正在阅读有关深度学习的论文。他们中的大多数都是指无监督学习。

他们还说使用无监督的RBM网络对神经元进行预训练。之后，他们使用反向传播算法（监督）进行微调。

那么我们可以使用深度学习解决有监督的学习问题吗？

我试图找出是否可以将深度学习应用于文档分类问题。 我知道有很好的分类器可供选择。但我的目标是找出我们是否可以为此目的使用深度学习。

Answer 1

简而言之 - 是的，它可以是，并且经常以受监督的方式使用。正如Ben J所描述的那样 - 架构的“深度”在otder中以无监督的方式使用，以创建非常抽象的数据表示，以后可以用作预处理层（无微调）或初始化对于神经网络（具有微调，类似Hinton）。特别是你可以将这种方法用于文本。

Hinton最近有一篇有趣的文章，关于使用DBM对文本文档进行建模：http://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf

网上有很多可用的资源，特别是 pylearn 库实现了这样的方法，包括“经典”DBN（Deep Beiief Network）http://deeplearning.net/tutorial/DBN.html

此外，还可以使用仅堆叠的RBM实际进行分类，该模型被称为“分类RBM”。更多细节可以在这里获得：http://machinelearning.org/archive/icml2008/papers/601.pdf

Answer 2

深度学习是关于学习未知概念，因此通常用于查找数据集中的模式。这是无监督的，因为这些模式不一定是先验已知的。然而，在有监督的学习中，您需要的模式类型可以通过训练模式的形式轻松地理解，这些模式适合您试图了解的数据。这些模式成为使您的模型（例如使用反向传播训练的神经网络）适合您的数据的基础。没有真正发现新的概念和组件。所以从这个角度来看，我会说不，深度学习不能用于解决有监督的学习问题。

话虽如此，您也许可以使用它来查找数据中的有趣模式。然后，您可以使用这些有趣的模式作为使用标准监督方法进行培训的基础。也许这就是他们上面所做的，你提到

“他们还说使用无监督的RBM网络对神经元进行预训练。之后使用反向传播算法（监督）对它们进行微调。”

如果没有阅读您所阅读的内容，也许他们会从无监督算法开始，找到最有趣的数据，这样做会降低维数，导致数据比原始数据更容易训练，使用监督算法

Answer 3

除了上面提供的好参考文献之外，Yann Le Cunn小组还有另一篇论文，它只是通过编码字符进行文本分类而不使用任何外部特征提取库。它只需在字符级别进行编码即可。他们声称准确率为98％。

http://arxiv.org/pdf/1502.01710v2.pdf

Answer 4

是的，肯定的。实际上，在行业中，深度学习主要用于解决监督问题。 RBM和这种无监督的事物并没有在学术界外广泛应用。要了解有关深度学习和监督学习的更多信息，您可以在2012年之后阅读论文，从与ImageNet Challenge相关的任何内容开始。

这些是深度神经网络的主要里程碑：

Answer 5

是的，您可以将深度学习用于监督学习和无监督学习。例如，名为CNN的著名网络被用于无监督学习。也许您需要从根本上学习一些有关文本挖掘的知识，以理解对文档进行分类的深度学习模型。 我发现此链接很有趣，希望对您有所帮助： https://machinelearningmastery.com/best-practices-document-classification-deep-learning/

Answer 6

由于深度学习的基础是神经元，所以只有神经元中的逻辑回归等监督算法，这意味着，是的。