Question

我正在尝试从资产负债表中提取某些字段。例如，我希望能够说出＆＃39;库存的价值。以下资产负债表为1,277,838：

Balance sheet

目前，我正在使用Tesseract将图像转换为文本。但是，此转换会产生一个文本流，因此很难将字段与其值相关联（因为这些值并不总是在其相应字段的文本旁边）。

经过一番搜索后，我读到Tesseract可以使用uzn文件从图像的区域中读取。但是，资产负债表价值的具体区域可能会从形式转变为形式，因此我对任何可以确定“库存”的解决方案感兴趣。和1,277,838在同一条线上。理想情况下，我想要一个文本的网格结构输出（这样我就可以在空间上告诉哪些文本块在同一行/列中）。

有谁可以帮忙解释我如何才能达到这个结果？

Answer 1

我一直在使用Tesseract和Python（pytesseract库）执行类似的任务。我已经能够使用Tesseract的.hocr输出文件（https://en.wikipedia.org/wiki/HOCR）在页面上找到我的搜索词的位置（例如'Inventory'），然后在页面的一小部分重新运行Tesseract，使其更高该领域的准确性。这是我用来解析Tesseract的HOCR输出的代码：

def parse_hocr(search_terms=None, hocr_file=None, regex=None):
    """Parse the hocr file and find a reasonable bounding box for each of the strings
    in search_terms.  Return a dictionary with values as the bounding box to be used for 
    extracting the appropriate text.

    inputs:
        search_terms = Tuple, A tuple of search terms to look for in the HOCR file.

    outputs:
        box_dict = Dictionary, A dictionary whose keys are the elements of search_terms and values
        are the bounding boxes where those terms are located in the document.
    """
    # Make sure the search terms provided are a tuple.
    if not isinstance(search_terms,tuple):
        raise ValueError('The search_terms parameter must be a tuple')

    # Make sure we got a HOCR file handle when called.
    if not hocr_file:
        raise ValueError('The parser must be provided with an HOCR file handle.')

    # Open the hocr file, read it into BeautifulSoup and extract all the ocr words.
    hocr = open(hocr_file,'r').read()
    soup = bs.BeautifulSoup(hocr,'html.parser')
    words = soup.find_all('span',class_='ocrx_word')

    result = dict()

    # Loop through all the words and look for our search terms.        
    for word in words:

        w = word.get_text().lower()

        for s in search_terms:

            # If the word is in our search terms, find the bounding box
            if len(w) > 1 and difflib.SequenceMatcher(None, s, w).ratio() > .5:
                bbox = word['title'].split(';')
                bbox = bbox[0].split(' ')
                bbox = tuple([int(x) for x in bbox[1:]])

                # Update the result dictionary or raise an error if the search term is in there twice.
                if s not in result.keys():
                    result.update({s:bbox})

            else:
                pass

    return result

这允许我在HOCR文件中搜索适当的术语并返回该特定单词的边界框。然后我可以稍微扩展边界框以在页面的一个非常小的子集上运行Tesseract。与仅仅OCR整个页面相比，这允许更高的准确性。显然，这些代码中的一些特定于我的使用，但它应该给你一个开始的地方。

This page对于找到给Tesseract的适当参数非常有帮助。我发现页面分割模式对于获得图像的小部分的准确结果非常重要。

Answer 2

正如gaw89已经提到的，Tesseract可以输出比仅作为流的文本更多的信息。 hocr fileformat还为您提供每个段落，行，单词的位置（边界框）：

$ tesseract 4LV05.png out -l eng hocr

然后你可以通过简单的

找到单词“Inventory”的边界框

$ grep 'Inventory' out.hocr
 <span class='ocr_line' id='line_1_5' title="bbox 23 183 112 204; baseline 0 -5; x_size 21; x_descenders 5; x_ascenders 4"><span class='ocrx_word' id='word_1_15' title='bbox 23 183 112 204; x_wconf 93'>Inventory</span>

因此，这个单词的边界框从183到204垂直跨越，对于这个标签的相应值，我们现在要在同一个垂直空间中搜索框。例如，这可以通过

来实现

$ grep 'bbox [0-9]* 18[0-9]' out.hocr
<p class='ocr_par' id='par_1_4' lang='eng' title="bbox 23 183 112 204">
 <span class='ocr_line' id='line_1_5' title="bbox 23 183 112 204; baseline 0 -5; x_size 21; x_descenders 5; x_ascenders 4"><span class='ocrx_word' id='word_1_15' title='bbox 23 183 112 204; x_wconf 93'>Inventory</span>
 <span class='ocr_line' id='line_1_30' title="bbox 1082 183 1178 202; baseline 0 -3; x_size 22; x_descenders 5.5; x_ascenders 5.5"><span class='ocrx_word' id='word_1_82' title='bbox 1082 183 1178 202; x_wconf 93'>1,277,838</span>
 <span class='ocr_line' id='line_1_54' title="bbox 1301 183 1379 202; baseline 0 -3; x_size 22; x_descenders 5.5; x_ascenders 5.5"><span class='ocrx_word' id='word_1_107' title='bbox 1301 183 1379 202; x_wconf 95'>953,675</span>

第二个结果包含目标值。您可以比较bbox的垂直坐标，以确保提取第一列。

此示例中的命令grep就足够了，但肯定有其他方法可以做类似的事情。另请注意，正则表达式应该替换为其他计算，具体取决于页面的偏差。

或者，您可以试用开源Tabula，它将尝试从pdfs中提取表格数据。

从具有不同结构的表单中提取字段

2 个答案: