Question

我无法训练SVM识别我的物体。我试图使用SURF + Bag Of Words + SVM来做到这一点。我的问题是分类器没有检测到任何东西。所有结果都是0。

这是我的代码：

Ptr<FeatureDetector> detector = FeatureDetector::create("SURF");
Ptr<DescriptorExtractor> descriptors = DescriptorExtractor::create("SURF");

string to_string(const int val) {
    int i = val;
    std::string s;
    std::stringstream out;
    out << i;
    s = out.str();
    return s;
}

Mat compute_features(Mat image) {
    vector<KeyPoint> keypoints;
    Mat features;

    detector->detect(image, keypoints);
    KeyPointsFilter::retainBest(keypoints, 1500);
    descriptors->compute(image, keypoints, features);

    return features;
}

BOWKMeansTrainer addFeaturesToBOWKMeansTrainer(String dir, BOWKMeansTrainer& bowTrainer) {
    DIR *dp;
    struct dirent *dirp;
    struct stat filestat;

    dp = opendir(dir.c_str());


    Mat features;
    Mat img;

    string filepath;
    #pragma loop(hint_parallel(4))
    for (; (dirp = readdir(dp));) {
        filepath = dir + dirp->d_name;

        cout << "Reading... " << filepath << endl;

        if (stat( filepath.c_str(), &filestat )) continue;
        if (S_ISDIR( filestat.st_mode ))         continue;

        img = imread(filepath, 0);

        features = compute_features(img);
        bowTrainer.add(features);
    }


    return bowTrainer;
}

void computeFeaturesWithBow(string dir, Mat& trainingData, Mat& labels, BOWImgDescriptorExtractor& bowDE, int label) {
    DIR *dp;
    struct dirent *dirp;
    struct stat filestat;

    dp = opendir(dir.c_str());

    vector<KeyPoint> keypoints;
    Mat features;
    Mat img;

    string filepath;

    #pragma loop(hint_parallel(4))
    for (;(dirp = readdir(dp));) {
        filepath = dir + dirp->d_name;

        cout << "Reading: " << filepath << endl;

        if (stat( filepath.c_str(), &filestat )) continue;
        if (S_ISDIR( filestat.st_mode ))         continue;

        img = imread(filepath, 0);

        detector->detect(img, keypoints);
        bowDE.compute(img, keypoints, features);

        trainingData.push_back(features);
        labels.push_back((float) label);
    }

    cout << string( 100, '\n' );
}

int main() {
    initModule_nonfree();

    Ptr<DescriptorMatcher> matcher = DescriptorMatcher::create("FlannBased");

    TermCriteria tc(CV_TERMCRIT_ITER + CV_TERMCRIT_EPS, 10, 0.001);
    int dictionarySize = 1000;
    int retries = 1;
    int flags = KMEANS_PP_CENTERS;
    BOWKMeansTrainer bowTrainer(dictionarySize, tc, retries, flags);
    BOWImgDescriptorExtractor bowDE(descriptors, matcher);

    string dir = "./positive_large", filepath;
    DIR *dp;
    struct dirent *dirp;
    struct stat filestat;

    cout << "Add Features to KMeans" << endl;
    addFeaturesToBOWKMeansTrainer("./positive_large/", bowTrainer);
    addFeaturesToBOWKMeansTrainer("./negative_large/", bowTrainer);

    cout << endl << "Clustering..." << endl;

    Mat dictionary = bowTrainer.cluster();
    bowDE.setVocabulary(dictionary);

    Mat labels(0, 1, CV_32FC1);
    Mat trainingData(0, dictionarySize, CV_32FC1);


    cout << endl << "Extract bow features" << endl;

    computeFeaturesWithBow("./positive_large/", trainingData, labels, bowDE, 1);
    computeFeaturesWithBow("./negative_large/", trainingData, labels, bowDE, 0);

    CvSVMParams params;
    params.kernel_type=CvSVM::RBF;
    params.svm_type=CvSVM::C_SVC;
    params.gamma=0.50625000000000009;
    params.C=312.50000000000000;
    params.term_crit=cvTermCriteria(CV_TERMCRIT_ITER,100,0.000001);
    CvSVM svm;

    cout << endl << "Begin training" << endl;

    bool res=svm.train(trainingData,labels,cv::Mat(),cv::Mat(),params);

    svm.save("classifier.xml");

    //CvSVM svm;
    svm.load("classifier.xml");

    VideoCapture cap(0); // open the default camera

    if(!cap.isOpened())  // check if we succeeded
        return -1;

    Mat featuresFromCam, grey;
    vector<KeyPoint> cameraKeyPoints;
    namedWindow("edges",1);
    for(;;)
    {
        Mat frame;
        cap >> frame; // get a new frame from camera
        cvtColor(frame, grey, CV_BGR2GRAY);
        detector->detect(grey, cameraKeyPoints);
        bowDE.compute(grey, cameraKeyPoints, featuresFromCam);

        cout << svm.predict(featuresFromCam) << endl;
        imshow("edges", frame);
        if(waitKey(30) >= 0) break;
    }   

        return 0;
}

你应该知道我从一个现有项目得到的参数效果很好，所以我认为它们在我的代码中也很有用（但最终可能没有）。

我有310张正面图像和508张负面图像。我尝试使用相同数量的正面和负面图像，但结果是一样的。我想要检测的物体是汽车方向盘。这是my dataset。

你知道我做错了什么吗？谢谢！

Answer 1

首先，使用现有项目中的相同参数并不能证明您使用的是正确的参数。事实上，在我看来，这是一种完全无意义的方法（没有冒犯）。这是因为，SVM参数直接受到数据集和描述符提取方法的影响。为了获得正确的参数，您必须执行交叉验证。因此，如果这些参数是从不同的识别任务中获得的，那么它就没有任何意义。例如，在我的面部验证项目中，gamma和C的最佳参数分别为0.0625和10。

您的方法的其他重要问题是测试图像。就我从你的代码中看到的那样，你没有使用磁盘中的图像来测试你的分类器，所以从这里开始我会做一些假设。如果您从相机获取的测试图像与正图像不同，则会失败。不同的意思是我的意思;您必须确保您的测试图像仅由方向盘组成，因为您的训练图像仅包含方向盘。如果您的测试图像包含，例如带有它的汽车座椅，您的测试图像的BoW描述符将与您的火车图像BoW描述符完全不同。因此，简单地说，您的测试图像不应包含带有其他物体的方向盘，它们应该只包含方向盘。

如果您满足这些要求，使用培训图像测试您的系统是最基本的方法。即使在那种情况下你失败了，你可能会遇到一些实施问题。其他方法可以是这样的;将您的训练数据分成两部分，这样您就有四个分区：

正面火车图像
负面火车图片
正面测试图像
负面测试图像

仅使用火车图像训练系统并使用测试图像进行测试。而且，您必须通过交叉验证指定参数。

除了这些之外，在执行我之前编写的内容之前，您可能需要检查一些特定的步骤以便本地化问题：

每张图片检测到多少个关键点？类似图像应该产生相似数量的关键点。
您知道BoW描述符是图像的SURF描述符的直方图。确保类似的图像产生类似的直方图（BoW描述符）。最好通过可视化直方图来检查这一点。
如果满足上一步，则问题很可能出在SVM训练步骤，这是非常重要的一步（也许是最重要的一步）。

我希望我能够强调交叉验证的重要性。进行交叉验证！

如何正确培训OpenWV SVM与BoW

1 个答案: