通过标签查找类似的图像

Question

TL;博士

从根本上说，我正在寻找合理的方法来 实施 标签组之间的相似性排名，其中标签组为2到9个标签。类似于排列2到9个单词的相似度，其中词汇量为200,000个单词，除了单词顺序无关紧要。

---

我有一组标记图像，我想实现几个搜索功能：

1. 相似图片
2. 类似但不同的图片

其中相似性仅基于标签。

找到标记相同的图像并不是那么难，但在此之后，我对于继续进行的最佳方式感到有点失落。我们有数十万个标签，没有元数据，因此我们不知道“Outlook”与“Microsoft”或“Windows”或“电子邮件”有关，因此无法理解标记图像的相关性差异“Microsoft，Excel，条形图”到标记为“Excel，电子表格”的图像与标记为“Visio，条形图”的图像。

对于“相似图片”，我们希望将“Microsoft，Excel，条形图”与“Visio，条形图”匹配，而对于“相似但不同的图像”，我们要匹配“Microsoft，Excel，条形图” “to”Excel，Spreadsheet“。

我现在最好的猜测是将标签视为文本并将其投入Solr。另一方面，也许可以采用不同类型的数据库，比如Neo4j。

有关如何向前迈出几步的任何建议？我不期待一个完整的解决方案，但对一般方法的建议将不胜感激。

额外信用：

为了使事情变得更加困难，当标签被分配给图像时，它们被指定为“主要”或“次要”，当然我们想要考虑到这一点。

Answer 1

更新

让我们重复一下这个问题。

• 输入数据包含多组标签=字符串集（以及指向相关图像资源的指针）
• 字符串只是字符序列，没有其他可用的语义信息
• 然而，将字符串加权为“主要”（较高权重）和“次要”（较低权重）

这意味着搜索必须完全依赖于集合（和字符串）的某些相似性度量。

此类措施的例子如下：

• Jaccard Similarity
• Dice Similarity
• Tverski Similarity
• Cosine Similarity

2010年的这篇论文：A weighted tag similarity measure based on a collaborative weight model将其中一些（和其他）应用于标签问题，并展示了如何包含加权。这应该是有帮助的，恕我直言。

另一个（更简单的）应用程序可以在2013年的本文中看到：Using of Jaccard Coefficient for Keywords Similarity。

关于问题的例子

  

对于"Similar images"，我们希望将"Microsoft, Excel, Bar Graph"与"Visio, Bar Graph"

相匹配

由于一个标签（"Bar Graph"）对两组标签都是通用的，因此会有一些相似之处。

  

而对于"Similar but different images"，我们希望将"Microsoft, Excel, Bar Graph"与"Excel, Spreadsheet"匹配。

再一个共同的标签（"Excel"）。但是系统应该如何知道"Visio"与"Microsoft, Excel, Bar Graph"的集合"Spreadsheet"更相似？ 这需要语义信息。我不知道如何解决这个问题。

旧部分

除了在2009年的论文中讨论各种指标外，我发现并没有太多可以帮助你选择的方法（你限制了它）。

但是我想在这里继续在网上搜索这个主题的步骤，因为它将你的问题置于上下文中。

其他人去哪里

研究界似乎朝着这些方向前进：

• 使用有关提供标记的用户的其他信息（ folksonomies ，社交标记）
• 利用语义元数据（本体，语义相似度）
• 利用视觉图像内容（基于内容的视觉信息检索）

Folksonomnies，社交标记

请参阅2009年的这篇论文：Evaluating Similarity Measures for Emergent Semantics of Social Tagging。

而不是通过比较图像的图形数据来定义相似性的传统方法

I = { (x, y, colour) }

通过某种方式（基于内容的图像检索，按图像内容查询，基于内容的视觉信息检索），这些作者使用标签中的信息（收获语义），就像你想要的那样。

他们的基本模型包括用户为资源分配的标签，比较所谓的folksonomy

的元组

F = { (user, resource, tag) }

可以通过不同的方法缩小到您的（资源，标签）元组的大小，以聚合用户，从而产生不同的相似性度量。

语义相似性

有趣的是使用semantic similarity，例如Jiang-Conrad，但是，你的标签没有语义元数据（例如本体），这使你坚持单词的字符串表示的相似性。

2008年的这篇论文The Use of Ontologies for Improving Image Retrieval and Annotation再次赞成使用本体论，但我认为它对各种方法进行了很好的讨论。

  

Folksonomies，社交标记系统，依赖于   人民的智慧。一个代表性的例子是Flickr。   COM。这种方法克服了这么多时间   手动注释但标签使用的不一致可能很困难   搜索整个数据集。

与基于内容的视觉信息检索相结合

上述两篇论文都引用了2006年的这篇论文Augmenting Navigation for Collaborative Tagging with Emergent Semantics。

  

然而，单独使用标签来搜索和浏览数据库显然有   它的局限性。首先，人们在标记时会犯错，例如拼写错误，   或者使用错误的标签进行意外标记。其次，没有解决方案   应对同义词，即区分单词的不同含义。第三，   同义词或不同的语言只能通过明确标记数据来处理   所有条款。

这些作者将社交标记与最初提到的基于内容的图像检索结合起来。

又一个链接：collaborative tagging。