初始模型可以用于图像中的对象计数吗？

Question

我已经完成了Inception模型中的图像分类部分，但我需要计算图像中的对象。

考虑到鲜花数据集，一个图像可以有一个花的多个实例，那么我该如何计算呢？

Answer 1

您所描述的内容被研究社区称为实例级细分。

在去年本身，解决这个问题的论文数量出现了大幅增长。

以下是一些论文：

• https://arxiv.org/pdf/1412.7144v4.pdf
• https://arxiv.org/pdf/1511.08498v3.pdf
• https://arxiv.org/pdf/1607.03222v2.pdf
• https://arxiv.org/pdf/1607.04889v2.pdf
• https://arxiv.org/pdf/1511.08250v3.pdf
• https://arxiv.org/pdf/1611.07709v1.pdf
• https://arxiv.org/pdf/1603.07485v2.pdf
• https://arxiv.org/pdf/1611.08303v1.pdf
• https://arxiv.org/pdf/1611.08991v2.pdf
• https://arxiv.org/pdf/1611.06661v2.pdf
• https://arxiv.org/pdf/1612.03129v1.pdf
• https://arxiv.org/pdf/1605.09410v4.pdf

正如您在这些论文中看到的那样，简单的对象分类网络无法解决问题。

如果你搜索github，你会发现一些带有基本框架的存储库，你可以在它们之上构建。

• https://github.com/daijifeng001/MNC（caffe）
• https://github.com/bernard24/RIS/blob/master/RIS_infer.ipynb（火炬）
• https://github.com/jr0th/segmentation（keras，tensorflow）

Answer 2

indraforyou回答了如何解决您遇到的问题的问题。我想特别为初始模型添加一些东西。在https://arxiv.org/pdf/1312.6229.pdf中，他们提出了一个回归网络，该网络训练在imagenet数据集上训练的模型的输出，如初始模型。然后，此回归模型用于建议您用于计数的对象边界。这种方法的优点是您不必注释任何培训示例，您只需使用ImageNet数据集进行培训即可。

如果您不想训练任何东西，我会提出寻找对象边界的启发式方法。图像分割中的文献https://en.wikipedia.org/wiki/Image_segmentation应该可以帮助您找到合适的启发式方法。我认为使用启发式会降低你的准确性。

最后但并非最不重要的是，这是计算机视觉研究中的一个开放性问题。你不应该期望在计算时获得100％的准确度甚至95％的准确度。许多非常聪明的人尝试了这一点，并报告了不同的结果还有一些很酷的事情可以实现。

Answer 3

任何分类模型（如初始模型）都会在您的案例中识别像花一样的对象。但是，当有多个项目时，分类不会起作用（在简单语言中混淆）。

因此：

您可以将主图像分割为每个图像一个对象的子图像，并在每个分段上使用分类。这在图像处理中被称为图像分割。