Question

我试图区分文本文档的图像和不是文本文档的另一图像。我想写一个方法，如果图像是文档，则返回DOCUMENT;如果不是文档的图像，则返回IMAGE。

文本文档的示例图像

非文字文件的示例图片

这样做的方法是什么？我应该使用霍夫线变换并查看图像中是否有直线水平线？

方法我想

对图像进行霍夫变换。只考虑水平线。如果有太多（某些预定义的阈值），那么我可以说它是文本文档的图像
检测白色背景上是否有大量黑色文字。然后，我可以有信心地说，它是一个文本文件的图像。（我不知道该怎么做）

Answer 1

使用像http://scikit-image.org/docs/stable/user_guide.html

这样的图像处理模块

您必须将PDF转换为图片才能最有可能。

逐像素地分析图像，也许在图像上使用OCR，如果看到字符，它可能是文档。如果没有字符，那么它可能不是文档。你这样做的准确程度取决于你。单独使用OCR是不够的，但现存的文本是需要考虑的一个属性

Answer 2

以下是一些想法 - 在ImageMagick中表达，但很容易适应OpenCV。 ImageMagick安装在大多数Linux发行版中，如果您不幸被迫使用它，也可用于OSX和Windows。

建议1 - 初始质量

第一个建议是尝试以PNG格式而不是JPEG格式获取屏幕截图 - 对于任何严肃的处理，它都是优先考虑的。

建议2 - 裁剪垃圾

其次，当你有大量无关的垃圾包括你的PDF查看器的框架时，我会建议在进行任何处理之前裁剪你的图像中间，因为这将删除大部分垃圾并且对检测没有太大影响文本行很可能在页面中间与...相同。那就是：

convert textual.jpg -gravity center -crop 70x70% x.png

建议3 - 白色百分比

接下来，查看白色像素的百分比，如果是文本字段则查找高数字，而非文字字母则为低数字：

# Check percentage white space
convert textual.jpg -gravity center -crop 70x70% -normalize -threshold 90% -format "%[fx:int(mean*100)]\n" info:
90

convert nontextual.jpg -gravity center -crop 70x70% -normalize -threshold 90% -format "%[fx:int(mean*100)]\n" info:
8

建议4 - 寻找交替的黑白行

接下来，尝试将图像歪斜，直到它与原始图像的像素宽度和高度相同，然后对其进行阈值处理。然后计算黑白之间的交替次数 - 文本的批次，非文本的很少：

# Check for alternating black and white horizontal lines
convert textual.jpg -gravity center -crop 70x70%  -threshold 50% -resize 1x! -normalize -threshold 95% -scale 20x! result.png

而非文字图片：

    # Check for alternating black and white horizontal lines
convert nontextual.jpg -gravity center -crop 70x70%  -threshold 50% -resize 1x! -normalize -threshold 95% -scale 20x! result.png

建议5 - 连接组件分析

最后，我会考虑“连接组件分析”或“Blob Analysis”。使用文本图像，您将获得许多小的，水平对齐的blob - 对应于单词或字母 - 取决于原始屏幕抓取的质量。

对于文字图片：

convert textual.jpg -gravity center -crop 70x70%     \
    -colorspace gray -negate -threshold 10%          \
    -define connected-components:verbose=true        \
    -define connected-components:area-threshold=0    \
    -connected-components 8 -auto-level output.png

输出 - 1300个对象

Objects (id: bounding-box centroid area mean-color):
  88: 768x627+0+18 387.5,315.7 436659 srgb(0,0,0)
  0: 768x18+0+0 387.6,9.2 12194 srgb(255,255,255)
  28: 118x7+408+0 466.1,2.8 709 srgb(0,0,0)
  354: 78x16+125+428 164.8,435.3 466 srgb(255,255,255)
  1184: 76x16+146+629 185.1,636.7 417 srgb(255,255,255)
  158: 28x35+358+250 371.5,265.9 411 srgb(255,255,255)
  ...
  ...
  14: 1x1+201+0 201.0,0.0 1 srgb(0,0,0)
  346: 1x1+456+419 456.0,419.0 1 srgb(255,255,255)
  347: 1x1+46+423 46.0,423.0 1 srgb(255,255,255)
  183: 1x1+126+274 126.0,274.0 1 srgb(0,0,0)

标记的输出图像显示找到的对象 - 每个对象具有连续较浅的阴影（1300个阴影）：

然而对于非文本图像：

convert nontextual.jpg -gravity center -crop 70x70%     \
    -colorspace gray -negate -threshold 10%          \
    -define connected-components:verbose=true        \
    -define connected-components:area-threshold=0    \
    -connected-components 8 -auto-level output.png

输出 - 57个对象

Objects (id: bounding-box centroid area mean-color):
  1: 315x237+0+0 153.6,115.2 68351 srgb(255,255,255)
  22: 56x147+181+42 215.4,119.3 3768 srgb(0,0,0)
  35: 23x10+106+227 117.0,232.0 184 srgb(0,0,0)
  36: 23x10+179+227 189.9,231.9 183 srgb(0,0,0)
  38: 22x10+264+227 274.5,231.9 179 srgb(0,0,0)
  37: 22x10+230+227 240.7,231.9 178 srgb(0,0,0)
  ...
  ...
  24: 1x1+200+50 200.0,50.0 1 srgb(0,0,0)
  25: 1x1+216+57 216.0,57.0 1 srgb(0,0,0)
  26: 1x1+220+61 220.0,61.0 1 srgb(0,0,0)

标记的输出图像显示找到的对象 - 每个对象具有连续较浅的阴影，您可以看到阴影较少（仅为57）：

区分文档图像和其他图像

2 个答案: