Question

我正在尝试使用opencv进行视频稳定（没有opencv视频稳定类）。

我算法的步骤如下 - ＆gt;

冲浪点提取，
匹配
Homography矩阵，
warpPerspective

输出视频根本不稳定:(。它看起来就像是原始视频。我找不到和引用视频稳定代码。我按照here描述的程序。有人可以帮我解决通过告诉我哪里出错或者提供一些源代码链接来改善我的算法。

请帮忙。谢谢

Answer 1

您可以使用我的代码段作为起点（不是很稳定，但似乎有效）：

#include "opencv2/opencv.hpp"
#include <iostream>
#include <vector>
#include <stdio.h>

using namespace cv;
using namespace std;

int main(int ac, char** av)
{
    VideoCapture capture(0);
    namedWindow("Cam");
    namedWindow("Camw");
    Mat frame;
    Mat frame_edg;
    Mat prev_frame;
    int k=0;
    Mat Transform;
    Mat Transform_avg=Mat::eye(2,3,CV_64FC1);
    Mat warped;
    while(k!=27)
    {
        capture >> frame;
        cv::cvtColor(frame,frame,cv::COLOR_BGR2GRAY);
        cv::equalizeHist(frame,frame);
        cv::Canny(frame,frame_edg,64,64);
        //frame=frame_edg.clone();
        imshow("Cam_e",frame_edg);
        imshow("Cam",frame);

        if(!prev_frame.empty())
        {
            Transform=estimateRigidTransform(frame,prev_frame,0);
            Transform(Range(0,2),Range(0,2))=Mat::eye(2,2,CV_64FC1);
            Transform_avg+=(Transform-Transform_avg)/2.0;
            warpAffine(frame,warped,Transform_avg,Size( frame.cols, frame.rows));

            imshow("Camw",warped);
        }

        if(prev_frame.empty())
        {
            prev_frame=frame.clone();
        }

        k=waitKey(20);      
    }
    cv::destroyAllWindows();
    return 0;
}

您还可以查找论文：Chen_Halawa_Pang_FastVideoStabilization.pdf，因为我记得提供了MATLAB源代码。

Answer 2

在你的“warpAffine（frame，warped，Transform_avg，Size（frame.cols，frame.rows））;”函数，必须将FLAG指定为WARP_INVERSE_MAP才能稳定。

我写的示例代码：

Mat src, prev, curr, rigid_mat, dst;

VideoCapture cap("test_a3.avi");

while (1)
{
    bool bSuccess = cap.read(src);
    if (!bSuccess) //if not success, break loop
        {
                cout << "Cannot read the frame from video file" << endl;
                break;
        }

    cvtColor(src, curr, CV_BGR2GRAY);

    if (prev.empty())
    {
        prev = curr.clone();
    }

    rigid_mat = estimateRigidTransform(prev, curr, false);

    warpAffine(src, dst, rigid_mat, src.size(), INTER_NEAREST|WARP_INVERSE_MAP, BORDER_CONSTANT);


    // ---------------------------------------------------------------------------//

    imshow("input", src);
    imshow("output", dst);

    Mat dst_gray;
    cvtColor(dst, dst_gray, CV_BGR2GRAY);
    prev = dst_gray.clone();

    waitKey(30);
}

希望这可以解决您的问题：）

Answer 3

冲浪不是那么快。我的工作方式是光流。首先，您必须使用GoodFeaturesToTrack（）函数计算第一帧的良好特征。之后，我使用FindCornerSubPix（）函数进行一些优化。

现在你的初始帧中有特征点，接下来要做的就是确定光流。有几个光流功能，但我使用的是OpticalFlow.PyrLK（），在其中一个输出参数中，您获得当前帧中的特征点。您可以使用FindHomography（）函数计算Homography矩阵。接下来你需要做的是反转这个矩阵，你可以用google轻松找到解释，接下来你调用WarpPerspective（）函数来稳定你的帧。

PS。我放在这里的函数来自EmguCV，OpenCV的.NET包装器，所以可能会有一些差异

使用opencv进行视频稳定

3 个答案: