Question

我正在编写一些Web服务，该服务应该从用户接收xml文件，读取并将数据保存到数据库

此文件以UTF-16进行gzip压缩和编码。所以我必须将其解压缩，将xml保存到文件中（以备将来使用）。接下来，我必须将文件读入一个字符串，将其解码为UTF-8和xml.Unmarshal([]byte(xmlString), &report)

目前尚未将其保存到数据库中

在我的本地机器上，我意识到处理一个请求占用了大约30％的CPU和大约300ms的时间。对于一个请求看起来没问题。但我制作了脚本，同时发出100个请求（通过卷曲），我看到CPU使用率高达100％，一个请求的时间增加到2秒

我想问的是：我应该担心它还是在真正的网络服务器上，事情会好起来的？或许我做错了这是代码：

func Parse(filename string) Report {
    xmlString := getXml(filename)
    report := Report{}

    xml.Unmarshal([]byte(xmlString), &report)

    return report
}



func getXml(filename string) string {
    b, err := ioutil.ReadFile(filename)
    if err != nil {
        fmt.Println("Error opening file:", err)
    }

    s, err := decodeUTF16(b)
    if err != nil {
        panic(err)
    }

    pattern := `<?xml version="1.0" encoding="UTF-16"?>`
    res := strings.Replace(s, pattern, "", 1)

    return res
}


func decodeUTF16(b []byte) (string, error) {
    if len(b)%2 != 0 {
        return "", fmt.Errorf("Must have even length byte slice")
    }

    u16s := make([]uint16, 1)

    ret := &bytes.Buffer{}

    b8buf := make([]byte, 4)

    lb := len(b)
    for i := 0; i < lb; i += 2 {
        u16s[0] = uint16(b[i]) + (uint16(b[i+1]) << 8)
        r := utf16.Decode(u16s)
        n := utf8.EncodeRune(b8buf, r[0])
        ret.Write(b8buf[:n])
    }

    return ret.String(), nil
}

请问我是否忘了重要的事情

文件读取和编码性能

0 个答案: