Question

我正在使用OpenCV 2.4.6处理视频。当我运行我的视频处理算法时，视频被正确处理，但是在处理后显示每个帧时会有明显的延迟。例如，添加处理后的10秒视频变为18秒。我需要实时处理这个，我该如何改进这个过程？感谢

Mat preProcess(Mat source){
    Mat grad_x, grad_y, grad_dif;
    Mat abs_grad_x, abs_grad_y;
    Mat src_gray, float_gray;
    Mat temp;

    GaussianBlur(source, grad_x, Size(1,1),0,0,BORDER_DEFAULT);
    GaussianBlur(source, grad_y, Size(3,3),0,0,BORDER_DEFAULT);
    grad_dif = grad_x - grad_y;
    cvtColor( grad_dif, src_gray, CV_RGB2GRAY );

    src_gray.convertTo(float_gray, CV_32F, 1.0/255.0);

    GaussianBlur(float_gray, grad_x, Size(0,0), 2, 2);
    abs_grad_x = float_gray - grad_x;

    GaussianBlur(abs_grad_x.mul(abs_grad_x), grad_x, Size(0,0), 10, 10);
    pow(grad_x, 0.5, grad_y);

    float_gray = grad_x / grad_y;
    normalize(float_gray, temp, 0, 255, NORM_MINMAX, CV_8UC1);
    threshold(temp,temp,13,255,3);

    return temp;
}

/** @function main */
int main( int argc, char** argv )
{
    VideoCapture cap("ijv4.mp4"); // open the video file for reading
    Rect myROI(160,20,350,380);

    if (!cap.isOpened())  // if not success, exit program
    {
        cout << "Cannot open the video file" << endl;
        return -1;
    }

    double fps = cap.get(CV_CAP_PROP_FPS); //get the frames per seconds of the video

    cout << "Frame per seconds : " << fps << endl;

    namedWindow("MyVideo",CV_WINDOW_AUTOSIZE); //create a window called "MyVideo"
    Mat frame;
    bool bSuccess;

    while(1)
    {

        bSuccess = cap.read(frame); // read a new frame from video

        if (!bSuccess) //if not success, break loop
        {
            cout << "Cannot read the frame from video file" << endl;
            break;
        }


        grad = preProcess(frame(myROI));
        imshow("MyVideo", frame); //show the frame in "MyVideo" window
        imshow("processed",grad);

        if(waitKey(30) == 27) 
        {
            cout << "esc key is pressed by user" << endl; 
            break; 
        }
   }

   return 0;
}

Answer 1

你为什么要做waitKey(30)？此调用将阻止至少 30 ms，其余的处理将在3 ms内完成（假设视频为30fps）。您是否尝试降低此值，或者只是将其删除？

Answer 2

我们总是可以把它分成线程。一个用于可视化，另一个用于您正在进行的预处理。我会推荐BOOST库，但你也可以使用pthreads。由于您在另一个线程中处理帧，因此当opencv GUI在窗口中显示已处理的帧时，您可以继续使用下一个帧。这样你就可以避免使用waitKey（）来“失去”时间。

Answer 3

尝试以每秒10到15帧的速度进行处理，这样可以提高处理速度

OpenCV视频处理帧速率下降

3 个答案: