Question

想要使用表格处理几个html页面。

页面：

包含几个无类表，唯一的方法是如何识别正确的
所需的表格在第一个单元格值“ Content ”

问题：如何使用Web :: Scrape或Scrappy或其他工具根据其单元格值找到正确的表？

示例代码：

#!/usr/bin/env perl
use 5.014;
use warnings;
use Web::Scraper;
use YAML;

my $html = do { local $/; <DATA> };

my $table = scraper {

    #the easy way - table with class, or id or any attribute
    #process 'table.xxx > tr', 'rows[]' => scraper {
    #unfortunately, the table hasn't class='xxx', so :(

    process 'NEED_HELP_HERE > tr', 'rows[]' => scraper {
        process 'th', 'header' => 'TEXT';
        process 'td', 'cols[]' => 'TEXT';
    };
};
my $result = $table->scrape( $html );
say Dump($result);

__DATA__
<head><title>title</title></head>
<body>
<table><tr><th class="inverted">header</th><td>value</td></tr></table>
<!-- here are several another tables (different count) -->

<table> <!-- would be easy with some class="xxx" -->
   <tr>
     <th class="inverted">Content</th> <!-- Need this table - 1st cell == "Content" -->
     <td class="inverted">col-1</td>
     <td class="inverted">col-n</td>
   </tr>
   <tr>
     <th>Date</th>
     <td>2012</td>
     <td>2001</td>
   </tr>
   <tr>
     <th>Banana</th>
     <td>val-1</td>
     <td>val-n</td>
   </tr>
</table>
</body>
</html>

Answer 1

您需要使用XPath表达式来查看节点的文本内容。

这应该可以解决问题

my $table = scraper {
  process '//table[tr[1]/th[1][normalize-space(text())="Content"]]/tr', 'rows[]' => scraper {
    process 'th', 'header' => 'TEXT';
    process 'td', 'cols[]' => 'TEXT';
  };
};

它可能看起来很复杂，但如果你把它分解就没关系。

它选择所有<tr>个元素，这些元素是根目录下任何<table>元素的子元素，其中第一个<th>元素的第一个<tr>元素包含的文本元素相等标准化后的"Content"（剥离前导和尾随空格）。

<强>输出

---
rows:
  - cols:
      - col-1
      - col-n
    header: Content
  - cols:
      - 2012
      - 2001
    header: Date
  - cols:
      - val-1
      - val-n
    header: Banana

Answer 2

HTML::TableExtract似乎对这个问题有好处。

试一试。

#!/usr/bin/Perl 

use strict;
use warnings;
use lib qw( ..); 
use HTML::TableExtract; 
use LWP::Simple; 

my $te = HTML::TableExtract->new( headers => [qw(Content)] );
my $content = get("http://www.example.com");
 $te->parse($content);

foreach my $ts ($te->tables) {
   print "Table (", join(',', $ts->coords), "):\n";
   foreach my $row ($ts->rows) {
      print join(',', @$row), "\n";
   }
 }

如果更改此行

 my $te = HTML::TableExtract->new( headers => [qw(Content)] );

到

 my $te = HTML::TableExtract->new();

它将返回所有表。如果上面的代码块没有准确地提供您正在寻找的内容，那么您可以摆弄该行。

Answer 3

像往常一样，Web::Query因紧凑而获胜。与Scraper不同，没有必要为结果命名，但如果你愿意，它只是一个额外的行。

use Web::Query qw();
Web::Query->new_from_html($html)
->find('th:contains("Content")')
->parent->parent->find('tr')->map(sub {
    my (undef, $tr) = @_;
    +{ $tr->find('th')->text => [$tr->find('td')->text] }
})

表达式返回

[
    {Content => ['col-1', 'col-n']},
    {Date    => [2012,    2001]},
    {Banana  => ['val-1', 'val-n']}
]

如何根据单元格值找到Web :: Scraper的表？

3 个答案: