匹配草图（绘图）面部照片到数字彩色照片

Question

我要将草图面（绘图照片）与彩色照片相匹配。因此，对于研究，我想找出将草图绘制与颜色面匹配的挑战。现在我已经找到了

1. 分辨率像素差异
2. 纹理差异
3. 距离差异
4. 和颜色（影响不大）

我想知道（在技术方面）什么是其他挑战以及可用的OPEN CV和JAVA CV方法和算法来克服这些挑战？

以下是草图和已知匹配它们的照片的一些示例：

Answer 1

这个问题叫做多模态人脸识别。人们对将高质量的照片（模态1）与低质量的监控图像（模态2）进行比较非常感兴趣，另一种是将图像转换为轮廓，或者将图片转换为OP感兴趣的草图。偏最小二乘（PLS） ）和系数因子分析（TFA）已被用于此目的。

关键难点是计算从模态1（和模态2）中的图像到两个点接近的空间的两个线性投影意味着个体是相同的。这是关键的技术步骤。以下是一些关于这种方法的论文：

1. Abhishek Sharma，David W Jacobs：Bypassing Synthesis: PLS for Face Recognition with Pose, Low-Resolution and Sketch。 CVPR 2011。
2. S.J.D。王子，J.H。 Elder，J。Warrell，F.M。 Felisberti，Tied Factor Analysis for Face Recognition across Large Pose Differences，IEEE 帕特。肛门。马赫。 Intell，30（6），970-984,2008。Elder是该领域的专家，a variety of papers on the topic。
3. B中。 Klare，Z。Li和A. K. Jain，Matching forensic sketches to mugshot photos，IEEE模式分析和机器智能，29 2010年9月。

您可以理解这是一个活跃的研究领域/问题。在使用OpenCV克服困难方面，让我给你一个类比：你需要建立一个房子（匹配草图照片），你要问斯坦利锤（OpenCV）将如何帮助。当然，它可能会有所帮助。但是你还需要很多其他资源：木材，时间/金钱，管道，电缆等。

Answer 2

我认为詹姆斯·埃尔德关于边缘图完整性的旧工作（通过解决拉普拉斯方程使用重建）在这里非常重要。请参阅本文末尾的结果：http://elderlab.yorku.ca/~elder/publications/journals/ElderIJCV99.pdf

Answer 3

你可以试试Eigenfaces，虽然我从未用草图测试它们，我认为它们至少可以成为你研究的一个很好的起点。

参见Wiki：http://en.wikipedia.org/wiki/Eigenface和OpenCV教程：http://docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html（不仅包括Eigenfaces！）

Answer 4

OpenCV可用于此任务所需的特征提取和机器学习。我想你可以从上面答案中的论文开始，从一些基本功能开始，并使用OpenCV对分类器进行原型设计。

我猜你可能也想检测和匹配脸上的特征点。如果你使用这种方法，你将不得不自己做特征点探测器（在OpenCV中训练Viola-Jones探测器，你可以选择自己的数据）。