如何将非UTF-8格式的xml文件转换为符合UTF-8的xml

时间:2011-06-13 21:31:15

标签: linux shell unix unicode utf-8

我有一个巨大的xml文件,其样本数据如下:

 <vendor name="aglaia"><br>
              <vendorOUI oui="000B91" description="Aglaia Gesellschaft für Bildverarbeitung ud Kommunikation m" /><br>
         </vendor><br>
         <vendor name="ag"><br>
              <vendorOUI oui="0024A9" description="Ag Leader Technology" /><br>
         </vendor><br>

因为可以看到有文字“GesellschaftfürBildverarbeitung”,它不符合UTF-8,因为我从xml验证器收到错误,错误如:

Import failed:
com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 1 of 1-byte UTF-8 sequence.

那么查询是如何在Linux环境中处理这个问题,将xml文件转换为UTF-8兼容格式?或者在bash中是否存在这样的方式,即在创建xml时,我可以确保所有变量/字符串都以符合UTF-8的格式存储?

1 个答案:

答案 0 :(得分:3)

使用字符集转换工具:

iconv -f ISO-8859-1 -t UTF-8 filename.txt

请参阅gnu-page

...并在文件http://standards.ieee.org/develop/regauth/oui/oui.txt中“aglia”(如上例所示)报告为:

00-0B-91   (hex)            Aglaia Gesellschaft für Bildverarbeitung und Kommunikation m
000B91     (base 16)        Aglaia Gesellschaft für Bildverarbeitung und Kommunikation m
                            Tiniusstr. 12-15
                            Berlin  D-13089
                            GERMANY

似乎“ü”是获得mangeld的角色。

<强>更新

使用wget下载“oui.txt”时,我在文件中看到字符“ü”。如果您没有在下载中破坏某些内容。考虑使用其中之一:

  • wget --header='Accept-Charset: utf-8'
  • 尝试使用curl -o oui.txt代替

如果以上都不起作用,只需在您喜欢的浏览器中打开链接并执行“另存为”。在这种情况下,请在下面的脚本中注释wget行。

我使用以下脚本取得了成功(更新BEGIN&amp; END以获取有效的XML文件)

#!/bin/bash

wget http://standards.ieee.org/develop/regauth/oui/oui.txt
iconv -f iso-8859-15 -t utf-8 oui.txt > converted

awk 'BEGIN {
         print "HTML-header"
     }

     /base 16/ {
         printf("<vendor name=\"%s\">\n", $4)
         read
         desc = substr($0, index($0, $4))
         printf("<vendorOUI oui=\"%s\" description=\"%s\"/>\n", $1, desc)
     }
     END {
         print "HTML-footer"
    }
    ' converted

希望这有帮助!