Nokogiri和编码

时间:2011-06-22 13:58:25

标签: ruby xml encoding nokogiri

请考虑使用Nokogiri构建的以下SAX Parser。

#encoding: UTF-8

require 'nokogiri'

class MyParser < Nokogiri::XML::SAX::Document

  def initialize(&callback)
    @callback = callback
    @buffer = ""
    @parser = Nokogiri::XML::SAX::PushParser.new(self, "UTF-8")
    @elem = nil
    @doc  ||= Nokogiri::XML::Document.new
    super()
  end

  def push(data)
    @parser << data
  end

  def start_element(name, attributes = [])
    @elem = Nokogiri::XML::Element.new(name, @doc)
    attributes.each do |k, v|
      @elem.set_attribute(k, v)
    end
  end

  def end_element(name)
    clear_characters_buffer
    @callback.call(@elem) 
  end

  def clear_characters_buffer
    if @buffer && @elem
      @buffer.strip!
      @elem.add_child(Nokogiri::XML::Text.new(@buffer, @doc)) unless @buffer.empty?
      @buffer = nil # empty the buffer
    end
  end

  def characters(string)
    @buffer ||= ""
    @buffer << string 
  end

end


xml =<<-EOXML
<entry>
<title>Appel à témoins pour émission de TV sur les jobs d'été</title>
<summary type="text">Je laisse la parole à Caroline, journaliste, qui recherche des étudiants pour une émission sur les jobs d'été à la rentrée.</summary>
<link rel="alternate" type="text/html" href="http://www.jobetudiant.net/blog/index.php?2011/04/29/573-appel-tmoins-pour-mission-de-tv-sur-les-jobs-d-t" title="Appel à témoins pour émission de TV sur les jobs d'été"/>
EOXML

p = MyParser.new() do |node|
  puts node.to_xml(:encoding => "UTF-8")
end

p.push(xml)

##
# Output :
## 
# $ ruby encoding-bug.rb 
# <title>Appel à témoins pour émission de TV sur les jobs d'été</title>
# <summary type="text">Je laisse la parole à Caroline, journaliste, qui recherche des étudiants pour une émission sur les jobs d'été à la rentrée.</summary>
# <link rel="alternate" type="text/html" href="http://www.jobetudiant.net/blog/index.php?2011/04/29/573-appel-tmoins-pour-mission-de-tv-sur-les-jobs-d-t" title="Appel &#xE0; t&#xE9;moins pour &#xE9;mission de TV sur les jobs d'&#xE9;t&#xE9;"/>

## 
# Expected :
## 
# $ ruby encoding-bug.rb 
# <title>Appel à témoins pour émission de TV sur les jobs d'été</title>
# <summary type="text">Je laisse la parole à Caroline, journaliste, qui recherche des étudiants pour une émission sur les jobs d'été à la rentrée.</summary>
# <link rel="alternate" type="text/html" href="http://www.jobetudiant.net/blog/index.php?2011/04/29/573-appel-tmoins-pour-mission-de-tv-sur-les-jobs-d-t" title="Appel à témoins pour émission de TV sur les jobs d'été"/>

正如您所看到的,它是用UTF8字符串提供的。 SAX解析器在使用正确的字符串触发正确的事件方面做得很好,但是当我尝试将其再次放入文档时,由于某种原因,它没有正确地序列化属性,通过将它们重新编码为UTF- 8。有人知道发生了什么事吗?

1 个答案:

答案 0 :(得分:0)

这是HTML转义属性值。如果您将示例更改为

xml =<<-EOXML
<entry title="jobs d'été">
jobs d'été
</entry>
EOXML

更清楚:

<entry title="jobs d'&#xE9;t&#xE9;">jobs d'été</entry>

你可以像这样转换它们

require 'cgi'
p = MyParser.new() do |node|
  puts CGI.unescapeHTML(node.to_xml(:encoding => "UTF-8"))
end

给出了

<entry title="jobs d'été">jobs d'été</entry>