如何使用OpenCV

Question

我正在尝试使用图像来实现在大型图像数据库中搜索类似图像的应用程序。我正在开发一个用于此搜索的图像描述符，我想将颜色信息与一些渐变信息结合起来。我已经看到在该域中使用的结构张量来找到图像或子图像中的主梯度方向。

我想拍摄一张图像，将其划分为子图像网格，例如4x4网格（总共16个子图像），然后找到每个单元格的前导梯度方向。为了找到前导梯度方向，我想看看是否计算每个单元的结构张量可以很好地表示图像梯度并导致改进的图像匹配。这是一个好主意还是一个坏主意？我们的想法是获得一个类似于本文第3.2节http://cybertron.cg.tu-berlin.de/eitz/pdf/2009_sbim.pdf

中的想法的特征向量

将图像划分为子图像（单元格）是微不足道的，使用opencv我可以使用Sobel函数计算偏导数。

Mat dx, dy; 
Sobel(im, dx, CV_32F, 1, 0, 3, 1, 0, BORDER_DEFAULT);
Sobel(im, dy, CV_32F, 0, 1, 3, 1, 0, BORDER_DEFAULT); 

计算dx ^ 2，dy ^ 2和dxy应该不是问题，但我不知道如何计算结构张量矩阵并使用张量矩阵来找到图像或子图像的主梯度方向。如何使用OpenCV实现此功能？

修改 好的，这就是我所做的。

    Mat _im; // Image to compute main gradient direction for. 
    cvtColor(im, _im, CV_BGR2GRAY);
    GaussianBlur(_im, _im, Size(3, 3), 0, 0, BORDER_DEFAULT); //Blur the image to remove unnecessary details. 
    GaussianBlur(_im, _im, Size(5, 5), 0, 0, BORDER_DEFAULT);
    GaussianBlur(_im, _im, Size(7, 7), 0, 0, BORDER_DEFAULT);

    // Calculate image derivatives 
    Mat dx2, dy2, dxy; 
    Sobel(_im, dx2, CV_32F, 2, 0, 3, 1, 0, BORDER_DEFAULT); 
    Sobel(_im, dy2, CV_32F, 0, 2, 3, 1, 0, BORDER_DEFAULT);
    Sobel(_im, dxy, CV_32F, 1, 1, 3, 1, 0, BORDER_DEFAULT);

    Mat t(2, 2, CV_32F); // tensor matrix

    // Insert values to the tensor matrix.
    t.at<float>(0, 0) = sum(dx2)[0];
    t.at<float>(0, 1) = sum(dxy)[0];
    t.at<float>(1, 0) = sum(dxy)[0];
    t.at<float>(1, 1) = sum(dy2)[0];

    // eigen decomposition to get the main gradient direction. 
    Mat eigVal, eigVec;
    eigen(t, eigVal, eigVec);

    // This should compute the angle of the gradient direction based on the first eigenvector. 
    float* eVec1 = eigVec.ptr<float>(0);
    float* eVec2 = eigVec.ptr<float>(1);
    cout << fastAtan2(eVec1[0], eVec1[1]) << endl;
    cout << fastAtan2(eVec2[0], eVec2[1]) << endl;

这种方法是否正确？

使用此图像，应用程序输出44.9905,135.01。 这给出了0,90。

当我使用真实图像的一部分时，我得到342.743,72.7425，我发现它很奇怪。我期望沿颜色变化（90ish）获得一个角度。

经过测试，我不确定我的实施是否正确，因此欢迎任何反馈或意见。

Answer 1

我相信你的问题是你正在计算二阶导数而不是平方一阶导数。它应该是这样的：

// Calculate image derivatives 
Mat dx, dy; 
Mat dx2, dy2, dxy;
Sobel(_im, dx, CV_32F, 1, 0); 
Sobel(_im, dy, CV_32F, 0, 1);
multiply(dx, dx, dx2);
multiply(dy, dy, dy2);
multiply(dx, dy, dxy);

P.S。 哦，顺便说一句，没有必要一遍又一遍地进行高斯模糊。只需使用更大的内核并模糊一次。 D.S。