在我的应用程序(Rails 3.0.5,Ruby 1.8.7)中,我创建了一个导入工具,用于从文件导入CSV数据。
问题:我要求我的用户以UTF-8编码从Excel导出CSV文件,但他们大部分时间都不会这样做。
如何在导入前验证文件是否为UTF-8?否则导入将运行,但会产生奇怪的结果。我使用FasterCSV导入。
错误的CSV文件的例子:
;VallÈe du RhÙne;CÙte Rotie;
感谢。
答案 0 :(得分:23)
你可以使用Charlock Holmes,一个用于Ruby的字符编码检测库。
https://github.com/brianmario/charlock_holmes
要使用它,您只需阅读该文件,然后使用detect
方法。
contents = File.read('test.xml')
detection = CharlockHolmes::EncodingDetector.detect(contents)
# => {:encoding => 'UTF-8', :confidence => 100, :type => :text}
如果格式不正确,您也可以将编码转换为UTF-8:
utf8_encoded_content = CharlockHolmes::Converter.convert contents, detection[:encoding], 'UTF-8'
这样可以避免用户在重新上传之前自行完成操作。
答案 1 :(得分:6)
对于1.9来说很明显,你只是告诉它期待utf8,如果不是这样会引发错误:
begin
lines = CSV.read('bad.csv', :encoding => 'utf-8')
rescue ArgumentError
puts "My users don't listen to me!"
end