使用Nokogiri,如何将html转换为尊重块元素的文本(确保它们导致换行)

时间:2018-08-30 09:24:31

标签: ruby nokogiri

Nokogiri #content方法不会将块元素转换为段落,例如:

fragment = 'hell<span>o</span><p>world<p>I am Josh</p></p>'
Nokogiri::HTML(fragment).content
=> "helloworldI am Josh"

我希望输出:

=> "hello\n\nworld\n\nI am Josh"

如何将html转换为文本,以确保块元素导致换行,并且inline elements用空格替换。

2 个答案:

答案 0 :(得分:1)

您可以使用#before#after添加换行符:

doc.search('p,div,br').each{ |e| e.after "\n" }

答案 1 :(得分:0)

这是我的解决方案:

fragment = 'hell<span>o</span><p>world<p>I am Josh</p></p>'
HtmlToText.process(fragment)
=> "hello\n\nworld\n\nI am Josh"

我遍历nokogiri树,在构建过程中构建文本字符串,将文本包装在"\n\n"中,用于块元素,将""包装在内联元素中。然后,gsub清理最后的\n个字符。它很hack但是可以用。

require 'nokogiri'

class HtmlToText
  class << self
    def process html
      nokogiri = Nokogiri::HTML(html)
      text = ''
      nokogiri.traverse do |el|
        if el.class == Nokogiri::XML::Element
          sep = inline_element?(el) ? "" : "\n"
          if el.children.length <= 0
            text += "#{sep}"
          else 
            text = "#{sep}#{sep}#{text}#{sep}#{sep}"
          end
        elsif el.class == Nokogiri::XML::Text
          text += el.text
        end
      end
      text.gsub(/\n{3,}/, "\n\n").gsub(/(\A\n+)|(\n+\z)/, "")
    end

    private

    def inline_element? el
      el && el.try(:name) && inline_elements.include?(el.name)
    end

    def inline_elements
      %w(
        a abbr acronym b bdo big br button cite code dfn em i img input
        kbd label map object q samp script select small span strong sub
        sup textarea time tt var
      )
    end
  end
end