深度学习 - 使用图像及其描述

Question

我打算制作一个可以对图像进行分类的分类器。我知道我应该使用卷积神经网络。问题是，对于每一张图片，我都有一个描述。有什么方法可以使用这种描述来改进分类器吗？

Answer 1

最简单的方法是使用图像特征（CNN）和文本特征（以LSTM语言模型，Bag-of-words或现成的编码器形式，如跳过思维向量）并训练网络以通常的方式对图像类进行预测。这两个特征可以通过连接，逐元素乘法，元素总和或外积来组合。看一下视觉问答（VQA）的最新进展，您所描述的内容听起来像VQA可以做的一部分。

Answer 2

当然，神经网络已用于https://arxiv.org/pdf/1609.08144v2.pdf中的文字。你只想输出类而不是句子，这样你就有了更轻松的时间。要组合分类器，您可以在输出上使用加权等级和。

分类器改进的声音对我来说非常有趣，可能是出版物的基础。