从视频重建绘图序列

Question

我有一个视频，用画家用铅笔记录绘画顺序。 我想重建视频中的序列。 我在谷歌搜索了一些关键字，例如drawing sequence reconstruction sketch reconstruction，并搜索了moving object detection，但找不到我想要找到的内容。

I want to know how to detect and recognize the drawing between different frames.我认为line detect算法可能有效但失败了。和像素比较似乎是个坏主意。因为新图纸可能与旧图纸重叠。

你能给我一些我可以阅读的信息或一些要搜索的关键词吗？很抱歉，因为我不熟悉计算机图像处理。

Answer 1

我建议你寻找基于SURF / ORB的图像匹配。

• 将铅笔图像保留为模板，并在图像上进行匹配以跟踪铅笔，这可以使用opencv / matlab计算机视觉库轻松完成。 image matching，sift, surf, orb matcher，feature detection
• 跟踪铅笔的位置后，您可以查找铅笔笔尖的位置，并提供匹配的信息keypoint，inliers，goodmatches
• 如果纸张相对于相机是静态的，您可以搜索铅笔笔尖左侧强度值的变化，例如选择您在其中执行的ROI搜索上一张图像的像素变化
• 您必须指定特定阈值以区分由于绘制到阴影image thresholding
而导致的强度变化

希望这个答案有所帮助