从href html标签中提取链接(URL),使用红宝石中的nokogiri?

时间:2009-05-13 08:11:12

标签: ruby parsing nokogiri

我想从网页中提取所有网址,如何使用nokogiri进行此操作?

示例:

<div class="heat">
   <a href='http://example.org/site/1/'>site 1</a>
   <a href='http://example.org/site/2/'>site 2</a>
   <a href='http://example.org/site/3/'>site 3</a>
</diV>

结果应该是一个列表:

l = ['http://example.org/site/1/', 'http://example.org/site/2/', 'http://example.org/site/3/'

2 个答案:

答案 0 :(得分:79)

你可以这样做:

doc = Nokogiri::HTML.parse(<<-HTML_END)
<div class="heat">
   <a href='http://example.org/site/1/'>site 1</a>
   <a href='http://example.org/site/2/'>site 2</a>
   <a href='http://example.org/site/3/'>site 3</a>
</div>
<div class="wave">
   <a href='http://example.org/site/4/'>site 4</a>
   <a href='http://example.org/site/5/'>site 5</a>
   <a href='http://example.org/site/6/'>site 6</a>
</div>
HTML_END

l = doc.css('div.heat a').map { |link| link['href'] }

此解决方案使用css选择器查​​找所有锚元素并收集其href属性。

答案 1 :(得分:8)

好的,这个代码非常适合我,感谢sris

p doc.xpath('//div[@class="heat"]/a').map { |link| link['href'] }