Question

我正在使用OCR开发C＃WPF自动车牌识别。

流量，我从视频流MJPEG获取图片，这些图片应该传递给OCR以获取版号和其他详细信息。

问题是：视频流产生大约30帧/秒，CPU无法处理这么多处理，也需要大约1秒来处理1帧，当我在队列中获得许多帧时，CPU将被使用70％（Intel I7 4th G）。

任何人都可以建议解决方案和更好的实施。

//This is the queue where it will hold the frames 
        // produced from the video streaming(video_Newfram1)

        private readonly Queue<byte[]> _anpr1Produces = new Queue<byte[]>();


        //I am using AForg.Video to read the MJPEG Streaming
        //this event will be triggered for every frame
        private void video_NewFrame1(object sender, NewFrameEventArgs eventArgs)
        {

            var frameDataAnpr = new Bitmap(eventArgs.Frame);
            AnprCam1.Source = GetBitmapimage(frameDataAnpr);

            //add current fram to the queue 
            _anpr1Produces.Enqueue(imgByteAnpr);

            //this worker is the consumer that will 
            //take the frames from the queue to the OCR processing 
            if (!_workerAnpr1.IsBusy)
            {
                _workerAnpr1.RunWorkerAsync(imgByteAnpr);
            }
        }

        //This is the consumer, it will take the frames from the queue to the OCR

        private void WorkerAnpr1_DoWork(object sender, DoWorkEventArgs e)
        {
            while (true)
            {
                if (_anpr1Produces.Count <= 0) continue;
                BgWorker1(_anpr1Produces.Dequeue());
            }
        }

        //This method will process the frames that sent from the consumer
        private void BgWorker1(byte[] imageByteAnpr)
        {
            var anpr = new cmAnpr("default");
            var objgxImage = new gxImage("default");

            if (imageByteAnpr != null)
            {
                objgxImage.LoadFromMem(imageByteAnpr, 1);
                if (anpr.FindFirst(objgxImage) && anpr.GetConfidence() >= Configs.ConfidanceLevel)
                {
                    var vehicleNumber = anpr.GetText();
                    var vehicleType = anpr.GetType().ToString();
                    if (vehicleType == "0") return;

                    var imagename = string.Format("{0:yyyy_MMM_dd_HHmmssfff}", currentDateTime) + "-1-" +
                                    vehicleNumber + ".png";

                    //this task will run async to do the rest of the process which is saving the vehicle image, getting vehicle color, storing to the database ... etc
                    var tsk = ProcessVehicle("1", vehicleType, vehicleNumber, imageByteAnpr, imagename, currentDateTime, anpr, _anpr1Produces);

                }
                else
                {
                    GC.Collect();
                }
            }
        }

Answer 1

你应该做的是：

首先，弄清楚帧是否值得处理。如果您正在使用压缩视频流，通常可以快速读取帧的压缩大小。它存储当前帧与前一帧之间的差异。

当它很小时，变化不大（即：没有车开过）。

这是一种低技术的动作检测方式，甚至无需解码帧，而且应该非常快。

这样，您可以决定在几毫秒内跳过80％的帧。

有一段时间你会得到需要处理的帧。确保您可以缓冲足够的帧，以便在进行慢速处理时可以继续录制。

接下来要做的是找到感兴趣的区域，并首先关注这些区域。你可以通过简单地查看颜色变化的区域来做到这一点，或者尝试找到矩形形状。

最后，如果您需要处理30 fps，则处理的一秒钟是慢的。你需要把事情做得更快，或者你必须建立一个巨大的缓冲区，并希望你在路上忙碌时能够赶上来。

确保正确使用多个核心（如果可用），但最终知道哪些图像不相关是提高性能的关键。

处理视频流时减少CPU开销

1 个答案: