Question

我想从图像中提取一些harriscorner并获取FREAK描述符。以下是我尝试这样做的方法：（传递的变量是全局定义的。）

void computeFeatures(cv::Mat &src, std::vector<cv::KeyPoint> &keypoints, cv::Mat &desc ) {
    cv::Mat featureSpace;
    featureSpace = cv::Mat::zeros( src.size(), CV_32FC1 );

    //- Detector parameters
    int blockSize = 3;
    int apertureSize = 3;
    double k = 0.04;

    //- Detecting corners
    cornerHarris( src, featureSpace, blockSize, apertureSize, k, cv::BORDER_DEFAULT );

    //- Thresholding featureSpace
    keypoints.clear();
    nonMaximumSuppression(featureSpace, keypoints, param.nms_n); 

    //- compute FREAK-descriptor
    cv::FREAK freak(false, false, 22.0f, 4); 
    freak.compute(src, keypoints, desc);
}

我可以使用Visual Studio 12以及Matlab R2013b通过mex编译它。当我把它作为“独立”（.exe）运行时它工作得很好。当我尝试通过Matlab执行它时，它会失败并显示以下消息：

MATLAB.exe中发生了缓冲区溢出，该漏洞溢出已损坏程序的内部状态。按Break可调试程序或继续终止程序。

我使用调试选项'-g'并将VisualStudio附加到Matlab以便能够更接近错误：当我跳入nonMaximumSuppression()时，freak.compute()关键点的大小为233后，大小突然变为83，并存储了“随机”值。当应删除关键点时，实际错误在KeyPointsFilter::runByKeypointSize。

在keypoint.cpp第256行：

void KeyPointsFilter::runByKeypointSize( vector<KeyPoint>& keypoints, float minSize, float maxSize )
{
    CV_Assert( minSize >= 0 );
    CV_Assert( maxSize >= 0);
    CV_Assert( minSize <= maxSize );

    keypoints.erase( std::remove_if(keypoints.begin(), keypoints.end(), SizePredicate(minSize, maxSize)),
                     keypoints.end() );
}

我在传递keyPoint-vector时是否有错误？有没有人遇到类似的问题？

修改

这是包含来自MatlabCentral的附加库“opencv_matlab.hpp”的mex文件

#include "opencv_matlab.hpp"

void mexFunction (int nlhs,mxArray *plhs[],int nrhs,const mxArray *prhs[]) {

    // read command
    char command[128];
    mxGetString(prhs[0],command,128);

    if (!strcmp(command,"push") || !strcmp(command,"replace")) {

        // check arguments
        if (nrhs!=1+1 && nrhs!=1+2)
          mexErrMsgTxt("1 or 2 inputs required (I1=left image,I2=right image).");
        if (!mxIsUint8(prhs[1]) || mxGetNumberOfDimensions(prhs[1])!=2)
          mexErrMsgTxt("Input I1 (left image) must be a uint8_t matrix.");

        // determine input/output image properties
        const int *dims1    = mxGetDimensions(prhs[1]);
        const int nDims1    = mxGetNumberOfDimensions(prhs[1]);
        const int rows1     = dims1[0];
        const int cols1     = dims1[1];
        const int channels1 = (nDims1 == 3 ? dims1[2] : 1);

        // Allocate, copy, and convert the input image
        // @note: input is double
        cv::Mat I1_ = cv::Mat::zeros(cv::Size(cols1, rows1), CV_8UC(channels1));
        om::copyMatrixToOpencv<uchar>((unsigned char*)mxGetPr(prhs[1]), I1_);

        // push back single image
        if (nrhs==1+1) {

          // compute features and put them to ring buffer
            pushBack(I1_,!strcmp(command,"replace"));

        // push back stereo image pair
        } else {

          if (!mxIsUint8(prhs[2]) || mxGetNumberOfDimensions(prhs[2])!=2)
            mexErrMsgTxt("Input I2 (right image) must be a uint8_t matrix.");

          // determine input/output image properties
          const int *dims2    = mxGetDimensions(prhs[2]);
          const int nDims2    = mxGetNumberOfDimensions(prhs[2]);
          const int rows2     = dims2[0];
          const int cols2     = dims2[1];
          const int channels2 = (nDims2 == 3 ? dims2[2] : 1);

          // Allocate, copy, and convert the input image
          // @note: input is double
          cv::Mat I2_ = cv::Mat::zeros(cv::Size(cols2, rows2), CV_8UC(channels2));
          om::copyMatrixToOpencv<uchar>((unsigned char*)mxGetPr(prhs[2]), I2_);

          // check image size
          if (dims1_[0]!=dims2_[0] || dims1_[1]!=dims2_[1])
            mexErrMsgTxt("Input I1 and I2 must be images of same size.");

          // compute features and put them to ring buffer
          pushBack(I1_,I2_,!strcmp(command,"replace"));
        }
    }else {
    mexPrintf("Unknown command: %s\n",command);
  }
}

这是主要cpp项目的另一部分。

std::vector<cv::KeyPoint> k1c1, k2c1, k1p1, k2p1; //KeyPoints
cv::Mat d1c1, d2c1, d1p1, d2p1; //descriptors

void pushBack (cv::Mat &I1,cv::Mat &I2,const bool replace) {
    // sanity check
    if (I1.empty()) {
        cerr << "ERROR: Image empty!" << endl;
        return;
    }

    if (replace) {
        //if (!k1c1.empty()) 
        k1c1.clear(); k2c1.clear();
        d1c1.release(); d2c1.release();
    } else {
        k1p1.clear(); k2p1.clear();
        d1p1.release(); d2p1.release();

        k1p1 = k1c1; k2p1 = k2c1;
        d1c1.copyTo(d1p1); d2c1.copyTo(d2p1);

        k1c1.clear(); k2c1.clear();
        d1c1.release(); d2c1.release();
    }

    // compute new features for current frame
    computeFeatures(I1,k1c1,d1c1); 
    if (!I2.empty())
        computeFeatures(I2,k2c1,d2c1);
}

以下是我如何从Matlab调用mex文件

I1p = imread('\I1.bmp');
I2p = imread('\I2.bmp');
harris_freak('push',I1p,I2p);

希望这会有所帮助......

Answer 1

我希望这是回答我自己问题的正确方法。

几天后，我找到了一种解决方法。 而不是在Matlab中构建mex文件，这给出了上面提到的错误，我使用here中的指令在Visual Studio 中构建它。现在一切正常。

不知道如何用matlab做这件事让我感到困扰，但是，嘿，也许还有人有想法。

感谢评论者花时间浏览我的问题！

Answer 2

如果您有计算机视觉系统工具箱，那么您不需要mex。它包括用于检测哈里斯角的detectHarrisFeatures函数和可以计算FREAK描述符的extractFeatures函数。

使用matlab通过mex运行opencv代码失败，而在VisualStudio上工作

2 个答案: