Question

我有这样的文档，我想循环读取每个大小为5GB的文件，我尝试了某种方式，例如（file，err：= ioutil.ReadFile（filename）），但是它将整个文件加载到内存中。我使用此func加载文件：

func visit(files *[]string) filepath.WalkFunc {
    return func(path string, info os.FileInfo, err error) error {
        if err != nil {
            log.Fatal(err)
        }
        *files = append(*files, path)
        return nil
    }
}

以及我使用的已读取文件：

file, err := os.Open("file")
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()
    buf := make([]byte,10*1024)
    for {
        n, err := file.Read(buf)
        if n > 0 {
            fmt.Print(buf[:n])
        }
        if err == io.EOF {
            break
        }

我想解析buf中的数据

err = xml.Unmarshal(buf, &m)
if err != nil {
    log.Fatal(err)
}
fmt.Println(m)

m是：

type M struct {
Mc []struct {
Id string `xml:"id"`
NeId string `xml:"neid"`}`xml:"mc"`
Mr struct {
Mh  []string `xml:"mh"`}`xml:"mr"`
}

以及在func main中：

func main() {
    var files []string
    root := "/folder/files"
    err := filepath.Walk(root, visit(&files))
    if err != nil {
        panic(err)
    }   
    for _, file := range files {

但是执行时间太长，我应该怎么做才能加快此过程？我在第496行收到错误XML语法错误：意外的EOF。并发在这种情况下可能有用吗？

Answer 1

以下是一些可重复的基准测试结果：

SSD：

$ echo 3 | sudo tee /proc/sys/vm/drop_caches
3
$ go build readfile.go && time ./readfile
/home/peter/Downloads/ubuntu-mate-18.10-desktop-amd64.iso is 2103607296 bytes
real    0m2.839s
user    0m0.283s
sys     0m1.064s
$

硬盘：

$ echo 3 | sudo tee /proc/sys/vm/drop_caches
3
$ go build readfile.go && time ./readfile
/home/peter/Downloads/ubuntu-mate-18.10-desktop-amd64.iso is 2103607296 bytes
real    0m14.194s
user    0m0.627s
sys     0m2.880s
$

硬盘：

$ echo 3 | sudo tee /proc/sys/vm/drop_caches
3
$ go build readfile.go && time ./readfile
/home/peter/Downloads/ubuntu-mate-18.10-desktop-amd64.iso is 2103607296 bytes
real    0m16.627s
user    0m0.431s
sys     0m1.608s
$

package main

import (
    "bufio"
    "fmt"
    "io"
    "os"
)

func readFile(fName string) (int64, error) {
    f, err := os.Open(fName)
    if err != nil {
        return 0, err
    }
    defer f.Close()
    r := bufio.NewReader(f)

    nr := int64(0)
    buf := make([]byte, 0, 4*1024)
    for {
        n, err := r.Read(buf[:cap(buf)])
        buf = buf[:n]
        if n == 0 {
            if err == nil {
                continue
            }
            if err == io.EOF {
                break
            }
            return nr, err
        }

        // Do something with buf
        nr += int64(len(buf))

        if err != nil && err != io.EOF {
            return nr, err
        }
    }
    return nr, nil
}

func main() {
    fName := `/home/peter/Downloads/ubuntu-mate-18.10-desktop-amd64.iso`
    if len(os.Args) > 1 {
        fName = os.Args[1]
    }
    nr, err := readFile(fName)
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        return
    }
    fmt.Printf("%s is %d bytes\n", fName, nr)
}

您可重现的基准测试结果是什么？

如何在Golang中使用Samll Ram读取大文件？

1 个答案: