Question

我遇到了使用unicode字符解组XML的问题。

尝试使用标准英文字符解析XML时，它会解析整个文件并正确解组而不会出现任何问题。但是，如果XML文件包含诸如ñ，á或 - （em-dash）之类的字符，它将停止解析XML并仅返回数组中之前项目中的项目那个角色。

例如，这是XML：

<items>
  <item>
    <ID value="1" name="Item 1" GCName="Item 1" />
  </item>
  <item>
    <ID value="2" name="Item 2" GCName="Item 2" />
  </item>
  <item>
    <ID value="3" name="Item 3" GCName="Item 3 With ñ" />
  </item>
  <item>
    <ID value="4" name="Item 4" GCName="Item 4" />
  </item>
</items>

这是我的Go代码（粗略没有任何导入）：

# main.go

type Response struct {
    Items []Items `xml:"items"`
}

type Items struct {
    Item []Item `xml:"item"`
}

type Item struct {
    ID    ItemID `xml:"ID"`
}

type ItemID struct {
    Value  string `xml:"value,attr"`
    Name   string `xml:"name,attr"`
    GCName string `xml:"GCName,attr"`
}

func main() {
    xmlFile, err := os.Open("C:\path\to\xml\file.xml")
    if err != nil {
        fmt.Println("Error opening file!")
        fmt.Println(err.Error())
    }
    defer xmlFile.Close()

    xmlData, err := io.ReadAll(xmlFile)
    if err != nil {
        fmt.Println("Error reading file!")
        fmt.Println(err.Error())
    }

    var response Response
    err := xml.Unmarshal(xmlData, &response)
    if err != nil {
        fmt.Println("Error unmarshaling XML")
        fmt.Println(err.Error())
    }
    fmt.Println(response)
}

此代码将打印仅前两项，就好像它们是唯一的两项一样。它还将输出：

Error unmarshaling XML
XML syntax error on line 9; Invalid UTF-8

我也尝试过使用不同编码的CharsetReader使用xml.Decoder，但这并没有产生任何不同的结果。 FWIW，我正在使用Windows 。

有没有办法解决这个错误？为其他东西换掉“坏”角色？我理解这些字符是有效的UTF-8 ......所以给出了什么？

提前致谢！

Answer 1

过滤掉无效UTF-8字符的阅读器

package main

    import (
    "bufio"
    "io"
    "unicode"
    "unicode/utf8"
    )

    // ValidUTF8Reader implements a Reader which reads only bytes that constitute valid UTF-8
    type ValidUTF8Reader struct {
        buffer *bufio.Reader
    }

    // Function Read reads bytes in the byte array b. n is the number of bytes read.
    func (rd ValidUTF8Reader) Read(b []byte) (n int, err error) {
        for {
            var r rune
            var size int
            r, size, err = rd.buffer.ReadRune()
            if err != nil {
                return
            }
            if r == unicode.ReplacementChar && size == 1 {
                continue
            } else if n+size < len(b) {
                utf8.EncodeRune(b[n:], r)
                n += size
            } else {
                rd.buffer.UnreadRune()
                break
            }
        }
        return
    }

    // NewValidUTF8Reader constructs a new ValidUTF8Reader that wraps an existing io.Reader
    func NewValidUTF8Reader(rd io.Reader) ValidUTF8Reader {
        return ValidUTF8Reader{bufio.NewReader(rd)}
    }

取自here

Answer 2

您可以使用utf8.Valid

检查[]byte是否为有效的UTF-8编码。

package main

import (
    "fmt"
    "unicode/utf8"
)

func main() {
    valid := []byte("Hello, 世界")
    invalid := []byte{0xff, 0xfe, 0xfd}

    fmt.Println(utf8.Valid(valid))
    fmt.Println(utf8.Valid(invalid))
}

或者如果您只想删除非UTF8：

package main

import (
    "bytes"
    "strings"
    "unicode/utf8"
)

var removeNonUTF = func(r rune) rune {
    if r == utf8.RuneError {
        return -1
    }
    return r
}

// RemoveNonUTF8Strings removes strings that isn't UTF-8 encoded 
func RemoveNonUTF8Strings(string string) string {
    return strings.Map(removeNonUTF, string)
}

// RemoveNonUTF8Bytes removes bytes that isn't UTF-8 encoded
func RemoveNonUTF8Bytes(data []byte) []byte {
    return bytes.Map(removeNonUTF, data)
}

golang XML以“无效的UTF-8”错误结束解析

2 个答案: