Question

我正在构建一个跟踪未知对象的对象跟踪程序。用户必须在实时视频流中选择应跟踪的区域。我的项目与此视频类似。

http://www.youtube.com/watch?v=G5GLIKIkd6E

我尝试了一种方法，但它不够健壮，跟踪器移动了很多。所以我再次从头开始。

任何人都知道如何在视频中提出一个方法？我是emgucv的新手，截至目前我真的不知道从哪里开始。

Answer 1

视频建议模板匹配由于速度的原因，我预计它更可能是一种FFT（快速傅立叶变换）方法，这在EMGU中相当容易实现，但是要完美它很难。

模板匹配

首先，模板匹配方法我已经制作了一个方法，它将匹配您输入到其中的图像中的对象.FFT仅适用于单个光谱图像的颜色，您必须分割光谱并将结果矩阵添加到一起：

Point Location;

private bool Detect_object(Image<Gray, Byte> Area_Image, Image<Gray, Byte> image_object)
{
    bool success = false;

    //Work out padding array size
    Point dftSize = new Point(Area_Image.Width + (image_object.Width * 2), Area_Image.Height + (image_object.Height * 2));
    //Pad the Array with zeros
    using (Image<Gray, Byte> pad_array = new Image<Gray, Byte>(dftSize.X, dftSize.Y))
    {
        //copy centre
        pad_array.ROI = new Rectangle(image_object.Width, image_object.Height, Area_Image.Width, Area_Image.Height);
        CvInvoke.cvCopy(Area_Image, pad_array, IntPtr.Zero);

        pad_array.ROI = (new Rectangle(0, 0, dftSize.X, dftSize.Y));

        //Match Template
        using (Image<Gray, float> result_Matrix = pad_array.MatchTemplate(image_object, TM_TYPE.CV_TM_CCOEFF_NORMED))
        {
            Point[] MAX_Loc, Min_Loc;
            double[] min, max;
            //Limit ROI to look for Match

            result_Matrix.ROI = new Rectangle(image_object.Width, image_object.Height, Area_Image.Width - image_object.Width, Area_Image.Height - image_object.Height);

            result_Matrix.MinMax(out min, out max, out Min_Loc, out MAX_Loc);

            Location = new Point((MAX_Loc[0].X), (MAX_Loc[0].Y));
            success = true;
            Results =result_Matrix.Convert<Gray,Double>();

        }
    }
    return success;
}

大多数人忘记的事情是用零填充数组，类似于我们使用零的模板的大小，因为这对fft方法没有影响。我们填充矩阵，否则我们不会正确处理边缘数据，我们可能会错过匹配的项目。

第二点，我不能强调重要这是怎样的，FFT方法此刻会返回对象左上角的匹配。 result_Matrix.MinMax找到对象最可能匹配的位置。有很多你需要进行试验，所以在这里或EMGU会有更多问题，我会尽力帮助。我也将复制并粘贴此解决方案。

视频中的方法

好吧，我会留下你大部分的代码，因为我时间紧张，但实际上用户使用paintbox的click事件来查找图像中对象的设置e.X和e.Y位置。模板的大小固定为100x100

Image<Gray, Byte> template_img = Main_Image.Copy(new Rectangle(x, y, 100, 100);

然后，他在对象周围的原始图像上设置ROI，以便进行移动。在我们的例子中，我们想要一个50像素模板周围的缓冲区（ROI）。这相当于初始投资回报率：

Main_Image.ROI = new Rectangle(x - 50, y - 50, 200, 200);

现在，由于使用图像的ROI，我们可以减慢处理速度，并且再次显示原始图像，所以做这样的事情要好得多：

using( Image<Gray, Byte> img_ROI = Main_Image.Copy(new Rectangle(x - 50, y - 50, 200, 200))
{
    Detect_object(img_ROI, template_img)
}

我们使用using语句，因为这会在我们完成时释放额外的图像数据并释放资源。

现在有了这个技巧，ROI实际上是由Detect_object的结果控制的，这就是我们将Location保持为全局变量的原因。一旦我们成功匹配模板，我们的using语句将更像：

using( Image<Gray, Byte> img_ROI = Main_Image.Copy(new Rectangle(Location.X - 50, Location.Y - 50, 200, 200)) 
{
    ...
}

除了ROI的矩形之外，其余的几乎都是模板，大小和位置都是在图像上绘制的，如果你有问题，请告诉我，但代码应该很容易就在那里，

干杯，

克里斯

Answer 2

该视频似乎使用类似于Gary Bradski所描述的CAMSHIFT method的内容。 Here是camshift演示应用程序的C ++代码，我知道它不是C＃，但它应该可以轻松移植到EmguCV。 Here是camshift算法核心的文档。

希望有所帮助！

EmguCV中的对象跟踪

2 个答案:

模板匹配

视频中的方法