Question

我正在使用MeanShift算法进行对象跟踪，使用此处的提示：http://www.cse.psu.edu/~rtc12/CSE598C/meanShiftColor.pdf

现在我有后续投影图像用于后续帧。此类图像中的每个像素都标记了属于被跟踪对象的概率：

上述来源中的MeanShift公式看起来如此：

w（x _i）=反投影图像中的像素。
x =当前中心像素。

我不明白spatial kernel是什么。
假设它可以是尺寸为5x5的2D高斯核，K（x _i -x）* w（x _i）可以用pre的像素替换 - 图像模糊。

我的代码看起来如此：

    fvect2 findMeanShift(const PlainImage<uint8>& weights_smoothed, fvect2 old_center, DebugOutput& debug)
    {
        //LOGE("first center: %.2f %.2f", old_center.x, old_center.y);

        const int w=weights_smoothed.getWidth(), h=weights_smoothed.getHeight();

        int iter_count = 0;
        fvect2 total_shift(0.0,0.0);

        while(iter_count++ < 20)
        {
            fvect2 fTop(0,0);
            float fBottom=0.0;
            for(int y=0;y<h;++y)
                for(int x=0;x<w;++x)
                {
                    fvect2 cur_center(x, y);
                    float mult = weights_smoothed.at(x, y)[0]/255.0;
                    fBottom += mult;
                    fTop += (cur_center-old_center) * mult;
                }
            fvect2 mean_shift = fTop/fBottom;
            //printf("mean_shift: %.2f %.2f", mean_shift.x, mean_shift.y);

            debug.addArrow(old_center, old_center+mean_shift);

            old_center += mean_shift;
            //printf("old_center: %.2f %.2f", old_center.x, old_center.y);

            total_shift += mean_shift;

            if(mean_shift.lengthF()<0.1)
                break;
        }

        return total_shift;
    }

所以我只是通过平滑的反投影图像迭代，并为每个像素：
将其值添加到分母中加上它的值乘以从当前中心到分析器的偏移。

它在第二次迭代时收敛，但转换是错误的，我不知道如何调试它。可能是公式实施中的问题。

请用人类语言向我解释空间内核是什么以及如何将其应用于重量图像。谢谢！

Answer 1

嗯，我明白了。空间掩码是搜索窗口。反投影不需要模糊。应用于整个图像，1位于搜索窗口内，0位于搜索窗口之外。 this的第2页是更简单的解释。

如果要远离跟踪对象进行搜索，结果很糟糕。因此问题中的错误转移点可能是整个图像的质量中心。

现在我的func看起来如此：

    fvect2 findMeanShift(const PlainImage<uint8>& weights, const ImageRect& spatial_roi, fvect2 old_center, DebugOutput& debug)
    {
        const int w=weights.getWidth(), h=weights.getHeight();

        int iter_count = 0;
        fvect2 total_shift(0.0,0.0);

        while(iter_count++ < 20)
        {
            fvect2 fTop(0,0);
            float fBottom=0.0;

            for(int y=std::max(spatial_roi.m_y, 0);y<std::min(h, spatial_roi.m_y+spatial_roi.m_height);++y)
                for(int x=std::max(spatial_roi.m_x, 0);x<std::min(w, spatial_roi.m_x+spatial_roi.m_width);++x)
                {
                    assert(y>=0 && x>=0 && y<h && x<w);

                    fvect2 cur_center(x, y);
                    float mult = weights.at(x, y)[0]/255.0;
                    fBottom += mult;
                    fTop += (cur_center-old_center) * mult;
                }
            fvect2 mean_shift = fTop/fBottom;
            //LOGE("mean_shift: %.2f %.2f", mean_shift.x, mean_shift.y);

            debug.addArrow(old_center, old_center+mean_shift);

            old_center += mean_shift;
            //LOGE("old_center: %.2f %.2f", old_center.x, old_center.y);

            total_shift += mean_shift;

            if(mean_shift.lengthF()<0.1)
                break;
        }

        return total_shift;
    }

MeanShift公式理解

1 个答案: