我是Go(Golang)的新手。我写了一个简单的基准程序来测试MySQL的并发处理。当我增加并发通道数时,继续“拨打tcp 52.55.254.165:3306:getsockopt:连接被拒绝”,“意外的EOF”错误。
每个go例程都是对一个简单的customer表进行1到n行的批量插入。该程序允许设置变量插入大小(单个语句中的行数)和并行go例程(每个例程执行上面一个插入)。程序适用于小数字行< 100和数字转到例程< 100。但是当数字增加时开始出现意外的EOF错误,尤其是并行的例程数。
寻找线索。基于它们,我设置了数据库最大连接和'max_allowed_packet'和'max_connections'。我还设置了go计划db.db.SetMaxOpenConns(200)
,db.SetConnMaxLifetime(200)
,db.SetMaxIdleConns(10)
。我已经尝试过大数和小数(从10到2000)。似乎没有什么能解决这个问题。
我打开了一个全局数据库连接。以下代码段:
// main package
func main() {
var err error
db, err = sql.Open("mysql","usr:pwd@tcp(ip:3306)/gopoc")
if err != nil {
log.Panic(err)
}
db.SetMaxOpenConns(1000)
db.SetConnMaxLifetime(1000)
db.SetMaxIdleConns(10)
// sql.DB should be long lived "defer" closes it once this function ends
defer db.Close()
if err = db.Ping(); err != nil {
log.Panic(err)
}
http.HandleFunc("/addCust/", HFHandleFunc(addCustHandler))
http.ListenAndServe(":8080", nil)
}
// add customer handler
func addCustHandler(w http.ResponseWriter, r *http.Request) {
// experected url: /addCust/?num=3$pcnt=1
num, _ := strconv.Atoi(r.URL.Query().Get("num"))
pcnt, _ := strconv.Atoi(r.URL.Query().Get("pcnt"))
ch := make([]chan string, pcnt) // initialize channel slice
for i := range ch {
ch[i] = make(chan string, 1)
}
var wg sync.WaitGroup
for i, chans := range ch {
wg.Add(1)
go func(cha chan string, ii int) {
defer wg.Done()
addCust(num)
cha <- "Channel[" + strconv.Itoa(ii) + "]\n"
}(chans, i)
}
wg.Wait()
var outputstring string
for i := 0; i < pcnt; i++ {
outputstring = outputstring + <-ch[i]
}
fmt.Fprintf(w, "Output:\n%s", outputstring)
}
func addCust(cnt int) sql.Result {
...
sqlStr := "INSERT INTO CUST (idCUST, idFI, fName, state, country) VALUES "
for i := 0; i < cnt; i++ {
sqlStr += "(" + strconv.Itoa(FiIDpadding+r.Intn(CidMax)+1) + ", " + strconv.Itoa(FiID) +", 'fname', 'PA', 'USA), "
}
//trim the last ,
sqlStr = sqlStr[0:len(sqlStr)-2] + " on duplicate key update lname='dup';"
res, err := db.Exec(sqlStr)
if err != nil {
panic("\nInsert Statement error\n" + err.Error())
}
return res
}
答案 0 :(得分:0)
我想你在每个例程中调用sql.Open?
Open函数应该只调用一次。您应该在例程之间共享打开的数据库连接。 Open函数返回的DB可以同时使用,并有自己的池