如何使用Nokogiri在两个HTML评论之间抓取HTML?

时间:2013-09-18 09:49:49

标签: ruby-on-rails ruby web-scraping web-crawler nokogiri

我有一些HTML页面,其中要提取的内容标有HTML注释,如下所示。

<html>
 .....
<!-- begin content -->
 <div>some text</div>
 <div><p>Some more elements</p></div>
<!-- end content -->
...
</html>

我正在使用Nokogiri并尝试在<!-- begin content --><!-- end content -->条评论之间提取HTML。

我想提取这两个HTML评论之间的完整元素:

<div>some text</div>
<div><p>Some more elements</p></div>

我可以使用此字符回调获取纯文本版本:

class TextExtractor < Nokogiri::XML::SAX::Document

  def initialize
    @interesting = false
    @text = ""
    @html = ""
  end

  def comment(string)
    case string.strip        # strip leading and trailing whitespaces
    when /^begin content/      # match starting comment
      @interesting = true
    when /^end content/
    @interesting = false   # match closing comment
  end

  def characters(string)
    @text << string if @interesting
  end

end

我获得了@text的纯文字版本,但我需要在@html中存储完整的HTML。

1 个答案:

答案 0 :(得分:5)

在两个节点之间提取内容不是我们正常做的事情;通常我们想要特定节点内的内容。注释是节点,它们只是特殊类型的节点。

require 'nokogiri'

doc = Nokogiri::HTML(<<EOT)
<body>
<!-- begin content -->
 <div>some text</div>
 <div><p>Some more elements</p></div>
<!-- end content -->
</body>
EOT

通过查找包含指定文本的注释,可以找到起始节点:

start_comment = doc.at("//comment()[contains(.,'begin content')]") # => #<Nokogiri::XML::Comment:0x3fe94994268c " begin content ">

一旦找到,那么需要一个存储当前节点的循环,然后查找下一个兄弟,直到找到另一个注释:

content = Nokogiri::XML::NodeSet.new(doc)
contained_node = start_comment.next_sibling
loop do
  break if contained_node.comment?
  content << contained_node
  contained_node = contained_node.next_sibling
end

content.to_html # => "\n <div>some text</div>\n <div><p>Some more elements</p></div>\n"