对于计算机视觉中的图像标题问题，如果受过训练的模型包围数据集中从未出现过的某个对象，将会发生什么？

Question

我刚开始专注于图像字幕的研究，图像字幕是CV的一个子领域。众所周知，像其他深度学习训练过程一样，您必须基于训练集和一旦模型准备就绪，就可以使用它。因此，我在图像标题问题中有一个问题，如果训练有素的模型对数据集中从未出现过的某些对象进行处理，将会发生什么？感谢您的答复！

Answer 1

很可能会发生2件事情中的1件：

1. 该对象被归类为数据集类别中的某种对象，文本生成器将使用该类来构建句子。

2. 无法识别对象，并且框架的其余部分用于生成句子。

这取决于实际类与数据集中内置的任何类之间的密切关系。如果对象在框架内的区域中处于主导地位，则第一种选择仍然更有可能。您可以设置一个手动阈值，该阈值会在一定置信度以下丢弃类信息。