对具有散乱字符的图像进行倾斜角度检测

Question

我一直在关注this tutorial以获得图像的倾斜角度。看起来像HoughLinesP在目标图像上有点散布时很难找到线条。

这是我的输入图片：

这是HoughLinesP找到的行：

它没有真正获得大部分线条，对我而言似乎很明显。这是因为我将minLineWidth设置为（size.width / 2.f）。关键在于，由于它已经发现很少的线条，因此倾斜角度也是错误的。 （在这种情况下，当它应该接近0.5时，为-3.15825）

我试图侵蚀我的输入文件以使角色更接近，在这种情况下它似乎有效，但我不觉得这是类似于它的情况的最佳方法。

这是我的侵蚀输入图像：

这是HoughLinesP找到的行：

这次它发现了-0.2185度的倾斜角度，这正是我所期待的，但另一方面它正在失去线条之间的垂直空间，这在我看来并不是一件好事。

还有另一个预处理这种图像，以使houghLinesP为散乱的角色获得更好的结果吗？

以下是我使用的源代码：

#include <iostream>
#include <opencv2/opencv.hpp>

using namespace std;


static cv::Scalar randomColor( cv::RNG& rng )
{
  int icolor = (unsigned) rng;
  return cv::Scalar( icolor&255, (icolor>>8)&255, (icolor>>16)&255 );
}

void rotate(cv::Mat& src, double angle, cv::Mat& dst)
{
    int len = std::max(src.cols, src.rows);
    cv::Point2f pt(len/2., len/2.);
    cv::Mat r = cv::getRotationMatrix2D(pt, angle, 1.0);

    cv::warpAffine(src, dst, r, cv::Size(len, len));
}

double compute_skew(cv::Mat& src)
{
    // Random number generator
    cv::RNG rng( 0xFFFFFFFF );

    cv::Size size = src.size();
    cv::bitwise_not(src, src);
    std::vector<cv::Vec4i> lines;
    cv::HoughLinesP(src, lines, 1, CV_PI/180, 100, size.width / 2.f, 20);
    cv::Mat disp_lines(size, CV_8UC3, cv::Scalar(0, 0, 0));
    double angle = 0.;
    unsigned nb_lines = lines.size();
    for (unsigned i = 0; i < nb_lines; ++i)
    {
        cv::line(disp_lines, cv::Point(lines[i][0], lines[i][1]),
                 cv::Point(lines[i][2], lines[i][3]), randomColor(rng));
        angle += atan2((double)lines[i][3] - lines[i][1],
                       (double)lines[i][2] - lines[i][0]);
    }
    angle /= nb_lines; // mean angle, in radians.

    std::cout << angle * 180 / CV_PI << std::endl;

    cv::imshow("HoughLinesP", disp_lines);
    cv::waitKey(0);

    return angle * 180 / CV_PI;
}
int main()
{
    // Load in grayscale.
    cv::Mat img = cv::imread("IMG_TESTE.jpg", 0);
    cv::Mat rotated;
    double angle = compute_skew(img);
    rotate(img, angle, rotated);
    //Show image
    cv::imshow("Rotated", rotated);
    cv::waitKey(0);
}

干杯

Answer 1

我建议首先找到单个组件（即行和字母），例如使用cv::threshold和cv::findContours。

然后，您可以删除狭窄的单个组件（即字母）。例如，您可以使用cv::floodFill执行此操作。这应该只留下你的行。

实际上，摆脱字母可能会为霍夫变换提供更容易的输入。

Answer 2

尝试将字符组检测为块，然后查找这些块的轮廓。下面我使用模糊，形态开放和阈值操作来完成它。

Mat im = imread("yCK4t.jpg", 0);
Mat blurred;
GaussianBlur(im, blurred, Size(5, 5), 2, 2);
Mat kernel = getStructuringElement(MORPH_ELLIPSE, Size(3, 3));
Mat morph;
morphologyEx(blurred, morph, CV_MOP_OPEN, kernel);
Mat bw;
threshold(morph, bw, 0, 255, CV_THRESH_BINARY_INV | CV_THRESH_OTSU);
Mat cont = Mat::zeros(im.rows, im.cols, CV_8U);
vector<vector<Point>> contours;
vector<Vec4i> hierarchy;
findContours(bw, contours, hierarchy, CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE, Point(0, 0));
for(int idx = 0; idx >= 0; idx = hierarchy[idx][0])
{
    drawContours(cont, contours, idx, Scalar(255, 255, 255), 1);
}

然后在轮廓图像上使用Hough线变换。 使用累加器阈值80，我得到以下行，得到-3.81的角度。这很高，因为异常线几乎是垂直的。使用这种方法，大多数线将具有相似的角度值，除了少数异常值。检测和丢弃异常值可以更好地逼近角度。

HoughLinesP(cont, lines, 1, CV_PI/180, 80, size.width / 4.0f, size.width / 8.0f);