Question

如果有人在使用 Golang 之前尝试过此操作，请使用代码获取想法，我们将非常感激。

我写了几行很慢

//这是为了阅读csv文件

func usersFileLoader(filename string, channel chan User) {
    defer close(channel)
    file, err := os.Open(filename)
    if err != nil {
        panic(err)
    }
    defer file.Close()
    var user User
    reader := csv.NewReader(file)
    for {
        err := Unmarshal(reader, &user)
        if err == io.EOF {
            break
        }
        if err != nil {
            panic(err)
        }
        channel <- user
    }
}

//这是插入csv文件

func saveUser(channel <-chan User, db *sql.DB) {
    stmt, err := db.Prepare(`
        INSERT INTO Users( id, name, address) values ( ?, ?, ?)`)
    if err != nil {
        log.Fatal(err)
    }

    for usr := range channel {
        _, err := stmt.Exec(
            usr.ID,
            usr.Name,
            usr.Address,
        )
        if err != nil {
            log.Fatal(err)
        }
    }
}

//这是用户的结构

type User struct {
    ID      int `csv:"id"`
    Name    int `csv:"name"`
    Address int `csv:"address"`
}

//这是我的主要功能

func main() {
    db := DBconnect(ConnectionString(dbConfig()))
    channel := make(chan User)
    go usersFileLoader("../user.csv", channel)
    saveUser(channel, db)
    defer db.Close()
}

//这段代码工作正常但对我来说很慢。分享您的想法和想法

Answer 1

我不会尝试使用Go的内置标准库函数将非常大的CSV文件加载到MySQL中（当然，除非您只是想了解它们是如何工作的）。

为了获得最佳性能，我只需使用MySQL's built in LOAD DATA INFILE功能。

例如：

result, err := db.Exec("LOAD DATA INFILE ?", filename)
if err != nil {
    log.Fatal(err)
}
log.Printf("%d rows inserted\n", result.RowsAffected())

如果您之前没有使用过LOAD DATA INFILE，请仔细注意有关LOCAL的文档。根据您的服务器配置和权限，您可能需要使用LOAD DATA LOCAL INFILE。（例如，如果您打算使用Docker容器，则绝对需要使用LOCAL。）

如何使用Golang将巨大的csv数据（4GB）转储到mysql中？

1 个答案: