Question

这是我的问题的后续问题：Local enhancing of license plate in video sequence

我实现了答案建议的基本超分辨率技术，但我无法获得更好的分辨率结果。我将视频序列剪裁为40帧，如下所示： enter image description here

并使用下面的代码（前5帧并执行超分辨率），然后通过处理序列中的其余帧重复更新超分辨率的帧：

public void Process(Image<Gray, byte> frame)
    {
        SetRegionOfInterest(frame);

        var resizedFrame = ResizeFrame(frame);

        InputFrames.Add(resizedFrame);
        if(InputFrames.Count > 5)
        {
            InputFrames.RemoveAt(0);
            PerformSuperResolution();
        }
    }

    public void PerformSuperResolution()
    {
        // WindowSize = 5
        var referenceFrame = InputFrames[WindowSize-1].Convert<Gray, byte>();
        var featuresToTrack = referenceFrame.GoodFeaturesToTrack(100, 0.1, 5, 10);

        referenceFrame.FindCornerSubPix(featuresToTrack, new Size(WindowSize,WindowSize), new Size(-1,-1), new MCvTermCriteria(20, 0.03d));

        var resultFrame = InputFrames[WindowSize-1].Convert<Gray, double>();
        for(var frameCounter = 0; frameCounter < WindowSize-1; frameCounter++)
        {
            // Get shift between frames
            var shiftResult = GetShiftResult(InputFrames[frameCounter],referenceFrame, featuresToTrack);

            // Warp to correct shift
            var warpMatrix = new Matrix<double>(new[,] { {1, 0, -shiftResult.ShiftX}, {0, 1, -shiftResult.ShiftY}, {0, 0, 1}});

            var warpedFrame = InputFrames[frameCounter].WarpPerspective(warpMatrix, 
                INTER.CV_INTER_NN, 
                WARP.CV_WARP_DEFAULT, 
                new Gray(0)); 

            resultFrame.RunningAvg(warpedFrame.Convert<Gray,double>(), 1, resultFrame.Convert<Gray, byte>());
        }
        SuperResolutionFrame = resultFrame.Convert<Gray, byte>();
    }

    public ShiftResult GetShiftResult(Image<Gray, byte> inputFrame, Image<Gray, byte> referenceFrame, PointF[][] ActualFeature)
    {
        var result = new ShiftResult();

        PointF[] NextFeature;
        Byte[] Status;
        float[] TrackError;

        // optical flow
        OpticalFlow.PyrLK(referenceFrame, inputFrame, ActualFeature[0], 
            new Size(WindowSize, WindowSize), 5, new MCvTermCriteria(20, 0.1d), 
            out NextFeature, out Status, out TrackError);

        //get displacements
        float[] XdisplacementVectors = new float[NextFeature.Length];
        float[] YdisplacementVectors = new float[NextFeature.Length];
        for(int i = 0; i < NextFeature.Length; i++)
        {
            XdisplacementVectors[i] = NextFeature[i].X - ActualFeature[0][i].X;
            YdisplacementVectors[i] = NextFeature[i].Y - ActualFeature[0][i].Y;
        }

        // gets average of displacements (disregards outliers)
        result.ShiftX = getAVG(XdisplacementVectors);
        result.ShiftY = getAVG(YdisplacementVectors);

        return result;
    }

程序在输入视频帧阵列（共40个）上调用Process(frame)：

for(int i  = 0; i < image_array.Count; i++)
{
    Res.Process(image_array[i]);
}

我获得了这个结果图像： enter image description here

正如您所看到的，整体分辨率只有很小的改进，而且车牌的可读性没有太大改进。我尝试过尝试各种参数，但上面使用的参数似乎是我能做的最好的。

我愿意接受任何改进建议（不必限于如上所述使用C＃/ Emgu CV），甚至可以在移动应用领域内实施不同的方法。

Answer 1

超分辨率问题是病态的 CV 问题，目前还没有令人满意的解决方案，因为它在输出中包含比输入更多的“信息”。

然而，在一些非常特殊的情况下，我们对我们正在处理的图像有很强的先验假设，有些方法可以获得比一般问题更好的结果。

最先进的，我们有一些可用的代码：

License Super Resolution

Answer 2

我知道这个问题很久以前就有人问过了。但是，现在可以将 opencv 与一些最先进的模型（如 EDSR）一起用于图像超分辨率。

按照此链接进行完整实施
https://www.pyimagesearch.com/2020/11/09/opencv-super-resolution-with-deep-learning/ https://learnopencv.com/super-resolution-in-opencv/

视频序列中车牌的超分辨率

2 个答案: