从HTML表中提取文本

时间:2012-04-07 14:42:37

标签: string tags sed web-scraping extract

我想从表http://www.amiriconstruction.co.uk/goodwoodgolf/scoretable.htm中将文本从纯文本中提取到没有来自Mac OS X命令行的html标记的纺织品中。

我尝试了很多sed命令,但是sed只会再次打印整个文件。我做错了什么?

我尝试过的例子

sed -n '/<tr>/,/<\/tr>/p' scoretable.htm(只会使用html标签打印表格内容:()

2 个答案:

答案 0 :(得分:2)

wget的帮助下抓取页面的一点点TXR网页抓取:

@(deffilter nobr ("<br />" ""))
@(deffilter brsp ("<br />" " "))
@(deffilter nosp (" " ""))
@(next "!wget 2>/dev/null -O - http://www.amiriconstruction.co.uk/goodwoodgolf/scoretable.htm")
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
@(skip)
<div class="scoreTableArea">
@(collect)
<h2 class="unify">@year - @event</h2>
@  (filter brsp event)
@  (collect)
<tr>
<td class="center">@pos</td>
<td>@player</td>
<td>@company</td>
<td>@date</td>
<td class="center">@points</td>
</tr>
@  (filter nobr player company date points)
@  (filter nosp pos points)
@  (until)
</tbody>
@  (end)
@(end)
@(output :filter :from_html)
@  (repeat)

Event: @event
Year: @year

DATE       POS  PT  PLAYER           COMPANY
@    (repeat)
@{date -10}  @{pos -2}  @{points 2}  @{player 16} @company
@    (end)
@  (end)

@(end)

示例运行:

$ txr  scoretable.txr

Event: Teeing off to Clobber Ken
Year: 2011

DATE       POS  PT  PLAYER           COMPANY
 Sept 2011   1  40  John Durrant     King Sumners Partnership
 Sept 2011   2  34  Grahame Pettit   Amiri Construction
  Oct 2011   3  31  Tony Deacon      Gleeds
  Oct 2011   4  29  Tony Boyle       Lacey Hickey Caley 
  Oct 2011   5  29  Richard Hemming  Scott White and Hookins
 Sept 2011   6  29  Ian McCoy        Selway Joyce
 June 2011   7  27  Julian Larkin    C&G Properties
 Sept 2011   8  25  Roque Menezes    Capita Symonds
 June 2011   9  22  Shawn Lambert    PWP Architects
 Sept 2011  10  22  Kevin Lendon     Amiri Construction

Event: Ken Watson (HNW Architects) Undisputed Amiri Golf Demon of the Downs
Year: 2010

DATE       POS  PT  PLAYER           COMPANY
      2010   1  40  Ken Watson       HNW Architects
      2010   2  37  David Heda       London Clancy
      2010   3  34  Gordon Brown     Currie & Brown
      2010   4  32  Alistair Taylor  Wildbrook Properties
             5  30  Andy Goodridge   City Estates
             6  25  Russ Pitman      Henderson Green
             7  24  Phil Piper       Piper Whitlock 
             8  23  Kevin Miller     Urban Pulse Architects
             9  19  Simon Asquith    Godsall Arnold Partnership
            10  19  Shawn Lambert    PWP Architects
            11  18  Martin Judd      Davis Langdon

答案 1 :(得分:1)

sed -n 's;</\?td>;;gp' scoretable.html | \
sed -e 's;<td class="center">;;' \
    -e 's;<.*>;;'

请注意,我使用;代替/作为我的分隔符 - 我发现它更容易阅读。 Sed将使用's之后放置的任何字符作为分隔符。

好的,现在解释一下。第一行:

-n将抑制输出,但命令末尾的p告诉sed专门打印与该模式匹配的所有行。这将只获取<td>标记中包含的行。与此同时,我发现任何与</\?td>匹配的东西,并且没有任何东西代替它。 /\?表示/不得出现或仅出现一次,因此这将匹配开始和结束标记。最后的g或全局,意味着它不会在第一次成功后停止尝试匹配模式。没有g,它只会替换开头标记。

这个输出在第二行再次输入sed:

-e只是指定要运行的编辑命令。如果你只是运行一个命令就暗示了,但在这里我运行了两个(下一个是在第三行)。

这会删除<td class="center">,下一行会删除所有其他标记(在本例中为<br>标记。

如果您确定一行上最多只有一个标记,则只能运行最后一个命令。否则,.*会贪婪且匹配太多,所以在:

<td class="center">24 </ br>

它会匹配整行,并删除所有内容。