如何在图像上应用word2vec？

Question

我一直在研究Google的word2vec模型。我能够为文本词语料库生成最多300维的向量。对于大数据而言，这是一个非常令人印象深刻的工具，准确性更高。

我很好奇，有没有办法使用word2vec在灰度图像上生成矢量。我确信方法是相同的，您可以根据像素强度生成矢量，然后计算余弦相似度。

我正在尝试构建一个模型来计算灰度图像上的相似距离。除了word2vec或在文本上工作的手套之外，任何图书馆都能做到这一点吗？

Answer 1

我同意你的观点，word2vec是一个非常令人印象深刻的工具，但是这个模型是通过在某些文章或新闻中预测下一个单词来训练的。总而言之，我认为在图像上使用word2vec是没有意义的。

您可以使用skimage进行一些图像测量。例如skimage-measure

Answer 2

Word2vec不是一个很好的图像模型，但我认为你真正需要的是bag of word model。在图像比较的基本方法中，您将图像转换为关键点要素列表（例如SIFT，SURF等），然后将点集合相互匹配（例如FLANN）。

图像中的大量特征和每个点表示的不确定性使得难以使用诸如word2vec的基本单层网络学习来进行图像识别。您可以在此tutorials中找到更好的示例。

3年后更新：我还应该提到ConvNets和几个预先训练好的模型，您可以从像素中提取视觉特征。