Question

我试图使用Dlib中的mmod_dnn模型在视频中跟踪一个自我训练的猫探测器。我使用dnn_mmod_train_find_cars_example格式blog post训练了自己的网络。它可以很好地使用dnn_mmod_face_detector示例检测图像中的猫，但我希望在视频中跟踪猫。我曾尝试使用webcam_face_pose示例作为起点，但我似乎无法弄清楚如何应用我自己的网络而不是面部检测器。任何帮助都很受欢迎。

代码：

#include <dlib/opencv.h>
#include <opencv2/highgui/highgui.hpp>
#include <dlib/image_processing/frontal_face_detector.h>
#include <dlib/image_processing/render_face_detections.h>
#include <dlib/image_processing.h>
#include <dlib/gui_widgets.h>
#include <iostream>
#include <dlib/dnn.h>
#include <dlib/data_io.h>
using namespace dlib;
using namespace std;

// network ----------------------
template <long num_filters, typename SUBNET> using con5d = con<num_filters, 
5, 5, 2, 2, SUBNET>;
template <long num_filters, typename SUBNET> using con5 = con<num_filters, 
5, 5, 1, 1, SUBNET>;
template <typename SUBNET> using downsampler = relu<bn_con<con5d<32, 
relu<bn_con<con5d<32, relu<bn_con<con5d<16, SUBNET>>>>>>>>>;
template <typename SUBNET> using rcon5 = relu<bn_con<con5<55, SUBNET>>>;
using net_type = loss_mmod<con<1, 9, 9, 1, 1, rcon5<rcon5<rcon5<downsampler<input_rgb_image_pyramid<pyramid_down<6>>>>>>>>;
----------------------------------

int main()
{
    try
    {
        cv::VideoCapture cap("cat.avi");
        if (!cap.isOpened())
        {
            cerr << "Unable to connect to camera" << endl;
            return 1;
        }

        image_window win;
        net_type net;
        deserialize("cat_detector.dat") >> net;

        // Grab and process frames until the main window is closed by the user.
        while(!win.is_closed())
        {
            // Grab a frame
            cv::Mat temp;
            if (!cap.read(temp))
            {
                break;
            }

            cv_image<bgr_pixel> cimg(temp);

            // This is where I get an error (error message below):
            std::vector<rectangle> dets = net(cimg);
                -------------------

            // Display it all on the screen
            win.clear_overlay();
            win.set_image(temp);
            win.add_overlay(dets, rgb_pixel(255, 0, 0));
        }
    }
    catch(serialization_error& e)
    {
        cout << endl << e.what() << endl;
    }
    catch(exception& e)
    {
        cout << e.what() << endl;
    }
}

错误：error C2440: 'initializing': cannot convert from 'std::vector<std::vector<dlib::mmod_rect,std::allocator<_Ty>>,std::allocator<std::vector<_Ty,std::allocator<_Ty>>>>' to 'std::vector<dlib::rectangle,std::allocator<_Ty>>'

我似乎有错误的矢量类型，即使webcam_face_pose示例使用此向量，除了我不使用示例中的面部模型。我也尝试了std::vector<full_object_detection>，但我不认为我理解如何正确应用我自己的网络。有什么建议吗？在此先感谢您的帮助。

Answer 1

如果您仍然遇到问题，我正在研究类似的问题，并找到了一些解决方案。

这里的主要问题是对于mmod_dnn模型，net(cimg)不返回矩形向量。它会返回类似vector<mmod_rect>或vector<vector<mmod_rect>>的信息，具体取决于您是给它一个图像还是多个图像。您链接的face detector example code使用auto dets = net(img)。然后，您必须将它们转换为dlib矩形，以尝试计算姿势。

您可能会遇到的其他问题是mmod_dnn网络采用matrix<rgb_pixel>或vector<matrix<rgb_pixel>>类型，因此您必须转换为这些类型。 Dlib有一些功能可以为您提供帮助：

cv_image<bgr_pixel> cimg(temp);
matrix<rgb_pixel> matrix;
assign_image(matrix, cimg)

Dlib将自我训练的探测器应用于视频（mmod_dnn）

1 个答案: